Browse Source

Updated crawler with all manga sources

crawlers/norma
Felipe Martín 7 years ago
parent
commit
28c26fdc77
  1. 4
      utils/crawler_listadomanga/crawl.py
  2. 2
      utils/crawler_listadomanga/crawler.py

4
utils/crawler_listadomanga/crawl.py

@ -17,7 +17,9 @@ datcrawl.register_crawler(ListadoManga)
# exit
ids = datcrawl.run("http://www.listadomanga.es/lista.php")
ids = []
for i in range(1, 11):
ids.extend(datcrawl.run("http://www.listadomanga.es/lista.php?genero={}".format(i)))
_list = []
errors = 0
success = 0

2
utils/crawler_listadomanga/crawler.py

@ -8,7 +8,7 @@ from pprint import pprint
class ListadoManga(Crawler):
urls = [
('get_manga', '(?P<url>^http\:\/\/www\.listadomanga\.es\/coleccion\.php(.*)$)'),
('get_links', '(?P<url>^http\:\/\/www\.listadomanga\.es\/lista\.php)'),
('get_links', '(?P<url>^http\:\/\/www\.listadomanga\.es\/lista\.php\?genero=\d+)'),
]
downloader = 'DefaultDownloader'