Парсер Indeed
Послуги
Парсинг сайту
Обхід захисту
Технології
Python, Selenium
Cloudflare Bypass
Локація та рік
Віддалено ©
2023
Коротко про проєкт
Парсер вакансій Indeed для автоматичного збору результатів і структурування даних по вакансіях у потрібному форматі.
Фокус: регулярний збір оголошень, фільтрація релевантних вакансій, контроль джерел і зручна подача результатів для подальшої обробки.
Результат: швидший пошук вакансій, менше ручного копіювання даних і стабільний потік свіжих результатів.
Деталі проєкту ...
01
Виклик
Indeed використовує багаторівневу систему захисту Cloudflare, яка блокує автоматизовані запити. Потрібно було створити рішення для обходу Bot Detection, CAPTCHA-челенджів та fingerprint-аналізу браузера без порушення правил сервісу.
02
Рішення
Розробив кастомний Selenium-драйвер з undetected-chromedriver, ротацією User-Agent, емуляцією людської поведінки (рандомні паузи, скролінг, рух миші) та проксі-пулом для розподілу навантаження.
03
Результат
Стабільний парсер зі швидкістю 500+ вакансій/годину, 95% success rate обходу Cloudflare. Клієнт отримав автоматизований інструмент для моніторингу ринку праці з експортом у CSV/Excel.