total downloaded notify
This commit is contained in:
parent
eb1ce5db14
commit
a5233d3d28
@ -60,12 +60,10 @@ def image_download(image):
|
|||||||
image_size = int(response.headers.get("Content-Length", 0))
|
image_size = int(response.headers.get("Content-Length", 0))
|
||||||
|
|
||||||
if (
|
if (
|
||||||
os.path.exists("{0}/{1}".format(DOWNLOAD_DIRECTORY, image))
|
not os.path.exists("{0}/{1}".format(DOWNLOAD_DIRECTORY, image))
|
||||||
and int(os.path.getsize("{0}/{1}".format(DOWNLOAD_DIRECTORY, image)))
|
or int(os.path.getsize("{0}/{1}".format(DOWNLOAD_DIRECTORY, image)))
|
||||||
== image_size
|
!= image_size
|
||||||
):
|
):
|
||||||
pass
|
|
||||||
else:
|
|
||||||
with open("{0}/{1}".format(DOWNLOAD_DIRECTORY, image), "wb") as out_image:
|
with open("{0}/{1}".format(DOWNLOAD_DIRECTORY, image), "wb") as out_image:
|
||||||
shutil.copyfileobj(
|
shutil.copyfileobj(
|
||||||
response.raw,
|
response.raw,
|
||||||
@ -90,35 +88,12 @@ if __name__ == "__main__":
|
|||||||
|
|
||||||
# По очереди скачиваем изображения
|
# По очереди скачиваем изображения
|
||||||
for image in images:
|
for image in images:
|
||||||
# На сайте могут обновляться изображения,
|
|
||||||
# когда находятся варианты более лучшего
|
|
||||||
# качества и разрешения.
|
|
||||||
# К именам таких файлов добавляется _NUM,
|
|
||||||
# где NUM - количество изменений,
|
|
||||||
# например 1356_3.jpg
|
|
||||||
|
|
||||||
# Файл .resume хранит последние 20 загруженных файлов.
|
|
||||||
# Бывает иногда, что изображение удаляется
|
|
||||||
# и может получиться так, что сохраненное имя в .resume
|
|
||||||
# будет отсутсвовать на странице, что будет в холостую
|
|
||||||
# продолжать работу скрипта.
|
|
||||||
|
|
||||||
# Файлы на странице расположены в обратном порядке,
|
|
||||||
# для этого перед их загрузкой и сохранением в .resume
|
|
||||||
# списки сортируются от меньшего к большему.
|
|
||||||
|
|
||||||
# По этому было принято решение, удалять часть _NUM
|
|
||||||
# из имени файла при сохранение в .resume.
|
|
||||||
# Один хуй никто не будет парсить сайт с самого начала,
|
|
||||||
# чтобы скачать сиськи в более высоком качестве.
|
|
||||||
|
|
||||||
# Если в списке resume присутствует текущий загружаемый файл
|
|
||||||
# тогда цикл программы останавливается.
|
|
||||||
# P.S. смотри на костыль WHILE_BREAK
|
|
||||||
image_download(image)
|
image_download(image)
|
||||||
downloaded_counter += 1
|
downloaded_counter += 1
|
||||||
|
|
||||||
|
print("\rЗагружено {0} файлов.".format(downloaded_counter), end="")
|
||||||
|
|
||||||
current_page += 1
|
current_page += 1
|
||||||
except KeyboardInterrupt:
|
except KeyboardInterrupt:
|
||||||
print("Загружено {0} файлов.".format(downloaded_counter))
|
print("Всего загружено {0} файлов.".format(downloaded_counter))
|
||||||
quit()
|
quit()
|
||||||
|
Loading…
Reference in New Issue
Block a user