import requests
from bs4 import BeautifulSoup
import csv
from tqdm import tqdm

# Базовый URL для страниц палитр
base_url = "https://www.color-hex.com/color-palettes/?page="

# Количество страниц, которые нужно парсить
total_pages = 1780

output_file = "color_palettes.csv"


with open(output_file, mode='w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)

    # Заголовки CSV
    headers = ['Palette Category', 'Palette Name'] + [f"Color {i + 1}" for i in range(448)]
    writer.writerow(headers)

    for page in tqdm(range(1, total_pages + 1), desc="Parsing pages", unit="page"):
        # Формируем URL для текущей страницы
        url = f"{base_url}{page}"

        response = requests.get(url)

        if response.status_code == 200:
            soup = BeautifulSoup(response.content, 'html.parser')

            # Ищем все контейнеры палитр
            palettes = soup.find_all('div', class_='palettecontainerlist')

            # Проходим по каждой палитре и собираем информацию
            for palette in palettes:
                # Ищем ссылку с названием палитры (тег <a>)
                title_tag = palette.find('a')
                palette_name = title_tag['title'] if title_tag else 'No title'

                palette_category = "Default Category"

                # Ищем все div с цветами внутри палитры
                color_divs = palette.find_all('div', class_='palettecolordiv')
                color_codes = []

                # Извлекаем цвета из атрибута style
                for div in color_divs:
                    style = div['style']
                    # Ищем hex-код цвета в стиле
                    color_code = style.split('background-color:')[1].replace(';', '').strip()
                    color_codes.append(color_code)

                # Заполняем недостающие ячейки пустыми значениями, если цветов меньше 448
                while len(color_codes) < 448:
                    color_codes.append('')

                writer.writerow([palette_category, palette_name] + color_codes)
        else:
            print(f"Ошибка при запросе страницы {page}: {response.status_code}")

print(f"Парсинг завершён. Данные записаны в файл {output_file}")