125 lines
5.1 KiB
Python
Executable File
125 lines
5.1 KiB
Python
Executable File
#!/usr/bin/env python3
|
||
|
||
"""Скрипт для скачивания голых и не только девушек с блога blog.stanis.ru"""
|
||
|
||
import re
|
||
import shutil
|
||
import os.path
|
||
import requests
|
||
from bs4 import BeautifulSoup
|
||
|
||
__author__ = "Alexander Popov"
|
||
__version__ = "1.0.2"
|
||
__license__ = "Unlicense"
|
||
|
||
# Путь к директории для загрузки изображений
|
||
DOWNLOAD_DIRECTORY = "./images"
|
||
|
||
|
||
def get_images_links(page):
|
||
"""В качестве аргумента получает номер страницы
|
||
и возвращает списком адреса всех изображений"""
|
||
|
||
# На сайте фильтр изображений настроен через cookies
|
||
# Так что устанавливаем их в нужное положение
|
||
cookies = dict(block="951")
|
||
|
||
# Загружаем страницу и подсовываем её парсеру с необходимыми параметрами
|
||
r = requests.get(
|
||
"http://blog.stanis.ru/?back={0}".format(
|
||
page,
|
||
),
|
||
cookies=cookies,
|
||
)
|
||
soup = BeautifulSoup(
|
||
r.text.encode("cp1251"), "html.parser", from_encoding="windows-1251"
|
||
)
|
||
|
||
# Получаем все теги <img> на странице
|
||
img_tags = soup.findAll("img", src=re.compile("img/*"))
|
||
|
||
# Получаем все адреса изображений и сохраняем их в список img_links
|
||
img_links = list()
|
||
for image in img_tags:
|
||
img_links.append(image["src"].split("/")[1])
|
||
|
||
return img_links
|
||
|
||
|
||
def image_download(image):
|
||
"""В качестве аргумента получает уникальное имя изображения,
|
||
скачивает и сохраняет его на диск"""
|
||
|
||
response = requests.get(
|
||
"https://blog.stanis.ru/imgs/{0}".format(
|
||
image,
|
||
),
|
||
stream=True,
|
||
)
|
||
|
||
image_size = int(response.headers.get("Content-Length", 0))
|
||
|
||
if (
|
||
os.path.exists("{0}/{1}".format(DOWNLOAD_DIRECTORY, image))
|
||
and int(os.path.getsize("{0}/{1}".format(DOWNLOAD_DIRECTORY, image)))
|
||
== image_size
|
||
):
|
||
pass
|
||
else:
|
||
with open("{0}/{1}".format(DOWNLOAD_DIRECTORY, image), "wb") as out_image:
|
||
shutil.copyfileobj(
|
||
response.raw,
|
||
out_image,
|
||
)
|
||
|
||
|
||
if __name__ == "__main__":
|
||
"""Главный цикл программы"""
|
||
|
||
if not os.path.exists(DOWNLOAD_DIRECTORY):
|
||
os.mkdir(DOWNLOAD_DIRECTORY)
|
||
|
||
current_page = 0
|
||
downloaded_counter = 0
|
||
|
||
while True:
|
||
try:
|
||
# Получаем адреса изображений и сортируем их в порядке возрастания
|
||
images = get_images_links(current_page)
|
||
images.sort()
|
||
|
||
# По очереди скачиваем изображения
|
||
for image in images:
|
||
# На сайте могут обновляться изображения,
|
||
# когда находятся варианты более лучшего
|
||
# качества и разрешения.
|
||
# К именам таких файлов добавляется _NUM,
|
||
# где NUM - количество изменений,
|
||
# например 1356_3.jpg
|
||
|
||
# Файл .resume хранит последние 20 загруженных файлов.
|
||
# Бывает иногда, что изображение удаляется
|
||
# и может получиться так, что сохраненное имя в .resume
|
||
# будет отсутсвовать на странице, что будет в холостую
|
||
# продолжать работу скрипта.
|
||
|
||
# Файлы на странице расположены в обратном порядке,
|
||
# для этого перед их загрузкой и сохранением в .resume
|
||
# списки сортируются от меньшего к большему.
|
||
|
||
# По этому было принято решение, удалять часть _NUM
|
||
# из имени файла при сохранение в .resume.
|
||
# Один хуй никто не будет парсить сайт с самого начала,
|
||
# чтобы скачать сиськи в более высоком качестве.
|
||
|
||
# Если в списке resume присутствует текущий загружаемый файл
|
||
# тогда цикл программы останавливается.
|
||
# P.S. смотри на костыль WHILE_BREAK
|
||
image_download(image)
|
||
downloaded_counter += 1
|
||
|
||
current_page += 1
|
||
except KeyboardInterrupt:
|
||
print("Загружено {0} файлов.".format(downloaded_counter))
|
||
quit()
|