Парсер Indeed

# Indeed Parser - Cloudflare Bypass
from undetected_chromedriver import Chrome, ChromeOptions
from bs4 import BeautifulSoup
import random, time, csv

class IndeedScraper:
    def __init__(self):
        self.options = ChromeOptions()
        self.options.add_argument('--disable-blink-features=AutomationControlled')
        self.user_agents = [
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0.0.0',
            'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) Chrome/120.0.0.0'
        ]

    def bypass_cloudflare(self, driver, url):
        """Обхід Cloudflare захисту з емуляцією людської поведінки"""
        driver.get(url)
        time.sleep(random.uniform(3, 7))

        # Емуляція скролінгу
        for _ in range(3):
            driver.execute_script(f"window.scrollBy(0, {random.randint(100, 300)})")
            time.sleep(random.uniform(0.5, 1.5))

    def extract_company_data(self, soup):
        """Витягування даних компанії"""
        return {
            'company': soup.select_one('.companyName').text.strip(),
            'location': soup.select_one('.companyLocation').text.strip(),
            'website': self.extract_website(soup),
            'email': self.extract_email(soup),
            'phone': self.extract_phone(soup)
        }

    def save_to_csv(self, data, filename='indeed_results.csv'):
        """Експорт результатів у CSV"""
        with open(filename, 'w', newline='', encoding='utf-8') as f:
            writer = csv.DictWriter(f, fieldnames=data[0].keys())
            writer.writeheader()
            writer.writerows(data)