Compare commits

...

4 Commits

Author SHA1 Message Date
c0c013c31b
fix return message 2022-09-16 02:55:28 +03:00
ca50802d3f
add spinner 2022-09-16 02:12:15 +03:00
a5233d3d28
total downloaded notify 2022-09-16 02:07:38 +03:00
eb1ce5db14
remove resume feature 2022-09-16 02:01:52 +03:00
2 changed files with 59 additions and 92 deletions

View File

@ -1,2 +1,3 @@
requests==2.28.1
beautifulsoup4==4.11.1
click==8.1.3

View File

@ -7,62 +7,45 @@ import shutil
import os.path
import requests
from bs4 import BeautifulSoup
import click
__author__ = "Alexander Popov"
__version__ = "1.0.2"
__version__ = "1.0.3"
__license__ = "Unlicense"
# Путь к директории для загрузки изображений
DOWNLOAD_DIRECTORY = "./images"
# Количество загружаемых страниц
DOWNLOAD_PAGES = 0
def resume_load():
"""Возвращает список последних 20 загруженных файлов"""
# Проверяет наличие файла .resume
if not os.path.exists(
"{0}/.resume".format(
DOWNLOAD_DIRECTORY,
)
):
# Создаёт директорию для загрузки сисек
if not os.path.exists(DOWNLOAD_DIRECTORY):
os.mkdir(DOWNLOAD_DIRECTORY)
# Создаёт файл .resume и пишет в него 0
with open(
"{0}/.resume".format(
DOWNLOAD_DIRECTORY,
),
"w",
) as f:
f.write("0")
return [0]
else:
with open(
"{0}/.resume".format(
DOWNLOAD_DIRECTORY,
),
"r",
) as f:
lines = [int(line.split("\n")[0]) for line in f][-20:]
return lines
def print_version(ctx, param, value):
if not value or ctx.resilient_parsing:
return
click.echo("Версия: {0}".format(__version__))
ctx.exit()
def resume_save(donwloaded_list):
"""Сохраняет список последних 20 загруженных файлов"""
donwloaded_list.sort()
with open(
"{0}/.resume".format(
DOWNLOAD_DIRECTORY,
),
"w",
encoding="utf-8",
) as f:
for item in donwloaded_list[-20:]:
f.write("{0}\n".format(item))
@click.command(add_help_option=False)
@click.option(
"--directory",
default="./images",
help="Путь к директории для загрузки изображений.",
)
@click.option("--pages", default=0, help="Количество загружаемых страниц.")
@click.option(
"--version",
"-v",
is_flag=True,
callback=print_version,
is_eager=True,
help="Отобразить версию программы.",
)
@click.help_option("--help", "-h", help="Показать эту справку")
def click(directory, pages, version):
DOWNLOAD_DIRECTORY = directory
DOWNLOAD_PAGES = pages
main(DOWNLOAD_DIRECTORY, DOWNLOAD_PAGES)
def get_images_links(page):
@ -109,12 +92,10 @@ def image_download(image):
image_size = int(response.headers.get("Content-Length", 0))
if (
os.path.exists("{0}/{1}".format(DOWNLOAD_DIRECTORY, image))
and int(os.path.getsize("{0}/{1}".format(DOWNLOAD_DIRECTORY, image)))
== image_size
not os.path.exists("{0}/{1}".format(DOWNLOAD_DIRECTORY, image))
or int(os.path.getsize("{0}/{1}".format(DOWNLOAD_DIRECTORY, image)))
!= image_size
):
pass
else:
with open("{0}/{1}".format(DOWNLOAD_DIRECTORY, image), "wb") as out_image:
shutil.copyfileobj(
response.raw,
@ -122,15 +103,16 @@ def image_download(image):
)
if __name__ == "__main__":
def main(download_directory, download_pages):
"""Главный цикл программы"""
resume_files = resume_load()
if not os.path.exists(download_directory):
os.mkdir(download_directory)
current_page = 0
downloaded_counter = 0
WHILE_BREAK = False
spinner = ["◢◣◤◥", "◰◳◲◱", "◴◷◶◵", "◐◓◑◒", "|/-\\"]
spinner_id = 0
while True:
try:
@ -138,50 +120,34 @@ if __name__ == "__main__":
images = get_images_links(current_page)
images.sort()
# Костыль
if WHILE_BREAK:
break
# Проверка на количество загруженных страниц
# аргумент --pages
if current_page >= download_pages and download_pages != 0:
print("\nВсего загружено {0} файлов.".format(downloaded_counter))
quit()
# По очереди скачиваем изображения
for image in images:
# На сайте могут обновляться изображения,
# когда находятся варианты более лучшего
# качества и разрешения.
# К именам таких файлов добавляется _NUM,
# где NUM - количество изменений,
# например 1356_3.jpg
# Файл .resume хранит последние 20 загруженных файлов.
# Бывает иногда, что изображение удаляется
# и может получиться так, что сохраненное имя в .resume
# будет отсутсвовать на странице, что будет в холостую
# продолжать работу скрипта.
# Файлы на странице расположены в обратном порядке,
# для этого перед их загрузкой и сохранением в .resume
# списки сортируются от меньшего к большему.
# По этому было принято решение, удалять часть _NUM
# из имени файла при сохранение в .resume.
# Один хуй никто не будет парсить сайт с самого начала,
# чтобы скачать сиськи в более высоком качестве.
# Если в списке resume присутствует текущий загружаемый файл
# тогда цикл программы останавливается.
# P.S. смотри на костыль WHILE_BREAK
if not int(image.split(".")[0].split("_")[0]) in resume_files:
image_download(image)
resume_files.insert(
0,
int(image.split(".")[0].split("_")[0]),
)
downloaded_counter += 1
resume_save(resume_files)
print(
"\r{spinner} Загружено {total_files} файлов.".format(
total_files=downloaded_counter, spinner=spinner[2][spinner_id]
),
end="",
)
if spinner_id < 3:
spinner_id += 1
else:
WHILE_BREAK = True
break
spinner_id = 0
current_page += 1
except KeyboardInterrupt:
print("Загружено {0} файлов.".format(downloaded_counter))
print("\nВсего загружено {0} файлов.".format(downloaded_counter))
quit()
if __name__ == "__main__":
click()