FileNotFoundError: [Errno 2] No such file or directory

[frapell]

Hola, estoy intentando generar un dump de la wikpedia y cuando corro ./cdpetron.py falla de la siguiente manera

$ ./cdpetron.py --image-type beta --test-mode /trabajo/dump-wiki/ es
2021-12-15 15:06:11,590  cdpetron             INFO     Opened succesfully image type config file 'imagtypes.yaml'
2021-12-15 15:06:11,593  cdpetron             INFO     Opened succesfully language config file 'languages.yaml'
2021-12-15 15:06:11,593  cdpetron             INFO     Dump directory: '/trabajo/dump-wiki'
2021-12-15 15:06:11,593  cdpetron             INFO     Generating for language: 'es'
2021-12-15 15:06:11,593  cdpetron             INFO     Language config: {'include': ['Wikipedia:Acerca_de', 'Wikipedia:Limitación_general_de_responsabilidad', 'Wikipedia:Aviso_de_riesgo', 'Wikipedia:Aviso_médico', 'Wikipedia:Aviso_legal', 'Wikipedia:Aviso_de_contenido', 'Wikipedia:Derechos_de_autor', 'Wikipedia:Portal'], 'portal_index': 'Portal:Portada', 'python_docs': 'https://docs.python.org/es/3.8/archives/python-3.8.5-docs-html.tar.bz2', 'language_name': {'es': 'Castellano', 'en': 'Spanish'}}
2021-12-15 15:06:11,594  cdpetron             INFO     Options: nolists=False noscrap=False noclean=False test=True
2021-12-15 15:06:11,594  cdpetron             INFO     Date of generation saved: 20211215
2021-12-15 15:06:11,599  cdpetron             INFO     Getting list file: 'http://dumps.wikimedia.org/eswiki/latest/eswiki-latest-all-titles-in-ns0.gz'
2021-12-15 15:06:22,314  cdpetron             INFO     Downloaded 3549527 general articles
2021-12-15 15:06:22,314  cdpetron             INFO     Getting the articles from namespaces (with limit=50)
2021-12-15 15:06:26,789  cdpetron             INFO     Got 1898 namespace articles
2021-12-15 15:06:26,789  cdpetron             INFO     Have 8 articles to mandatorily include
2021-12-15 15:06:26,790  cdpetron             INFO     Total of articles: 3551433
2021-12-15 15:06:26,792  cdpetron             INFO     Scraping portal main page Portal:Portada
2021-12-15 15:06:26,792  src.scraping.scraper INFO     Generando DataURLs
2021-12-15 15:06:26,793  src.utiles           INFO     Starting pooled exec! done before: 0,  total: 1
2021-12-15 15:06:36,840  src.utiles           INFO     Scraping done! Total=1  ok=0  bad=1
2021-12-15 15:06:36,840  cdpetron             INFO     Parsing portal page
Traceback (most recent call last):
  File "./cdpetron.py", line 472, in <module>
    main(
  File "./cdpetron.py", line 337, in main
    scrap_portal(language, lang_config)
  File "./cdpetron.py", line 255, in scrap_portal
    with open(portal_filepath, 'rt', encoding='utf8') as fh:
FileNotFoundError: [Errno 2] No such file or directory: '/trabajo/dump-wiki/es/articles/P/o/r/Portal:Portada'

Obvio que /trabajo/dump-wiki/ existe...

Intente con otros parametros para --image-type en base a lo que hay en imagtypes.yaml pero no consigo que funcione de ninguna manera

[frapell]

Me olvide aclarar que estoy usando Python 3.8.10 en Ubuntu

[fzuccolo]

Muchas gracias @frapell por reportar el error.

Al parecer la API de Wikipedia está ignorando el header Accept-Encoding: gzip y retorna directamente JSON.
Esto rompe una parte del proceso que espera que el contenido descargado esté siempre comprimido:

BadGzipFile('Not a gzipped file (b\'{"\')')

Un fix para el proceso podría ser #396.

Igualmente hay que revisarlo mejor ya que encontré que wikipedia.css no se está generando correctamente.

[frapell]

@fzuccolo genial! ahi lo probe y anduvo... lo del css es porque los links en css_links.txt son de la forma
/w/load.php?lang=es&modules=ext.cite.styles%7Cext.math.styles%7Cext.uls.interlanguage%7Cext.visualEditor.desktopArticleTarget.noscript%7Cext.wikimediaBadges%7Cmediawiki.action.styles%7Cmediawiki.interface.helpers.styles%7Cskins.vector.styles.legacy%7Cwikibase.client.init&only=styles&skin=vector

y no se estan "unescapando" los &

Yo lo solucione aca de la siguiente manera:

diff --git a/src/scraping/css.py b/src/scraping/css.py
index 0f1433b..4e85ad3 100644
--- a/src/scraping/css.py
+++ b/src/scraping/css.py
@@ -35,6 +35,7 @@ modules into a single file that will be loaded by all CDPedia pages.
 Reference: https://www.mediawiki.org/wiki/API:Styling_content
 """
 
+import html
 import logging
 import functools
 import os
@@ -163,7 +164,7 @@ class _CSSScraper:
 
         unique_names = set()
         for link in raw_links:
-            url = urllib.parse.urlparse(link)
+            url = urllib.parse.urlparse(html.unescape(link))
             query = dict(urllib.parse.parse_qsl(url.query))
             names = query.get('modules')
             if not names:

Ahora, lo que no se es si el fix ese te parece bien ahi? quizas habria que hacerlo para los links cuado se guardan en el css_links.txt? No se que opinas...

Con este fix ya se genera todo bien y se puede ver el dump

Si el fix te parece bien queres que haga un nuevo PR basado en el tuyo? o commiteo al tuyo?

[fzuccolo]

@frapell Buenísimo! Si podés hacé un PR con todos los cambios así validamos el fix y resolvemos este issue. Muchas gracias!

[frapell]

@fzuccolo Me darías permiso para subir un branch nuevo al repo?

[fzuccolo]

@frapell ¿Github no te deja pushear un nuevo branch al repo?

[frapell]

@fzuccolo Nope

$ git push -u origin frapell-unescape-css-link 
ERROR: Permission to PyAr/CDPedia.git denied to frapell.
fatal: Could not read from remote repository.

Please make sure you have the correct access rights
and the repository exists.

[fzuccolo]

@facundobatista ¿Se puede habilitar el permiso para que @frapell suba un branch y haga un PR?

[frapell]

@fzuccolo Ahí hice un fork y arme el PR desde ahi