157 lines
5.0 KiB
Python
Executable File
157 lines
5.0 KiB
Python
Executable File
#!/usr/bin/env python3
|
||
|
||
"""Скрипт для скачивания голых и не только девушек с блога blog.stanis.ru"""
|
||
|
||
import re
|
||
import shutil
|
||
import os.path
|
||
import requests
|
||
from bs4 import BeautifulSoup
|
||
import click
|
||
|
||
__author__ = "Alexander Popov"
|
||
__version__ = "1.0.4"
|
||
__license__ = "Unlicense"
|
||
|
||
# Путь к директории для загрузки изображений
|
||
DOWNLOAD_DIRECTORY = "./images"
|
||
# Количество загружаемых страниц
|
||
DOWNLOAD_PAGES = 0
|
||
|
||
|
||
def print_version(ctx, param, value):
|
||
if not value or ctx.resilient_parsing:
|
||
return
|
||
click.echo("Версия: {0}".format(__version__))
|
||
ctx.exit()
|
||
|
||
|
||
@click.command(add_help_option=False)
|
||
@click.option(
|
||
"--directory",
|
||
default="./images",
|
||
help="Путь к директории для загрузки изображений.",
|
||
)
|
||
@click.option("--pages", default=0, help="Количество загружаемых страниц.")
|
||
@click.option(
|
||
"--version",
|
||
"-v",
|
||
is_flag=True,
|
||
callback=print_version,
|
||
is_eager=True,
|
||
help="Отобразить версию программы.",
|
||
)
|
||
@click.help_option("--help", "-h", help="Показать эту справку")
|
||
def click(directory, pages, version):
|
||
DOWNLOAD_DIRECTORY = directory
|
||
DOWNLOAD_PAGES = pages
|
||
main(DOWNLOAD_DIRECTORY, DOWNLOAD_PAGES)
|
||
|
||
|
||
def get_images_links(page):
|
||
"""В качестве аргумента получает номер страницы
|
||
и возвращает списком адреса всех изображений"""
|
||
|
||
# На сайте фильтр изображений настроен через cookies
|
||
# Так что устанавливаем их в нужное положение
|
||
cookies = dict(block="951")
|
||
|
||
# Загружаем страницу и подсовываем её парсеру с необходимыми параметрами
|
||
r = requests.get(
|
||
"http://blog.stanis.ru/?back={0}".format(
|
||
page,
|
||
),
|
||
cookies=cookies,
|
||
)
|
||
soup = BeautifulSoup(
|
||
r.text.encode("cp1251"), "html.parser", from_encoding="windows-1251"
|
||
)
|
||
|
||
# Получаем все теги <img> на странице
|
||
img_tags = soup.findAll("img", src=re.compile("img/*"))
|
||
|
||
# Получаем все адреса изображений и сохраняем их в список img_links
|
||
img_links = list()
|
||
for image in img_tags:
|
||
img_links.append(image["src"].split("/")[1])
|
||
|
||
return img_links
|
||
|
||
|
||
def image_download(image):
|
||
"""В качестве аргумента получает уникальное имя изображения,
|
||
скачивает и сохраняет его на диск"""
|
||
|
||
response = requests.get(
|
||
"https://blog.stanis.ru/imgs/{0}".format(
|
||
image,
|
||
),
|
||
stream=True,
|
||
)
|
||
|
||
image_size = int(response.headers.get("Content-Length", 0))
|
||
|
||
if (
|
||
not os.path.exists("{0}/{1}".format(DOWNLOAD_DIRECTORY, image))
|
||
or int(os.path.getsize("{0}/{1}".format(DOWNLOAD_DIRECTORY, image)))
|
||
!= image_size
|
||
):
|
||
with open("{0}/{1}".format(DOWNLOAD_DIRECTORY, image), "wb") as out_image:
|
||
shutil.copyfileobj(
|
||
response.raw,
|
||
out_image,
|
||
)
|
||
|
||
return True
|
||
else:
|
||
return False
|
||
|
||
def main(download_directory, download_pages):
|
||
"""Главный цикл программы"""
|
||
if not os.path.exists(download_directory):
|
||
os.mkdir(download_directory)
|
||
|
||
current_page = 0
|
||
downloaded_counter = 0
|
||
|
||
spinner = ["◢◣◤◥", "◰◳◲◱", "◴◷◶◵", "◐◓◑◒", "|/-\\"]
|
||
spinner_id = 0
|
||
|
||
while True:
|
||
try:
|
||
# Получаем адреса изображений и сортируем их в порядке возрастания
|
||
images = get_images_links(current_page)
|
||
images.sort()
|
||
|
||
# Проверка на количество загруженных страниц
|
||
# аргумент --pages
|
||
if current_page >= download_pages and download_pages != 0:
|
||
print("\nВсего загружено {0} файлов.".format(downloaded_counter))
|
||
quit()
|
||
|
||
# По очереди скачиваем изображения
|
||
for image in images:
|
||
if image_download(image):
|
||
downloaded_counter += 1
|
||
|
||
print(
|
||
"\r{spinner} Загружено {total_files} файлов.".format(
|
||
total_files=downloaded_counter, spinner=spinner[2][spinner_id]
|
||
),
|
||
end="",
|
||
)
|
||
|
||
if spinner_id < 3:
|
||
spinner_id += 1
|
||
else:
|
||
spinner_id = 0
|
||
|
||
current_page += 1
|
||
except KeyboardInterrupt:
|
||
print("\nВсего загружено {0} файлов.".format(downloaded_counter))
|
||
quit()
|
||
|
||
|
||
if __name__ == "__main__":
|
||
click()
|