Особенности Web scraping

Получение данных с сайтов с помощью краулеров называется web scraping или parsing. Его используют для копирования интернет-ресурсов, например досок объявлений, интернет-магазинов, сайтов поиска работы и т.д. Но не все так просто, как может показаться.

Scraping - это довольно сложный и трудоемкий процесс, требующий знания программирования на Python. Нужно создать скрипт для краулера, настроить его на обход определенных страниц, написать регулярные выражения или использовать XPath, чтобы получить нужные данные: название товара, цену, описание, параметры, изображение и т.д. Каждый сайт требует индивидуального подхода и скрипта; то, что работало для одного ресурса, не подойдет для другого. Кроме того, разработчики сайтов периодически меняют HTML-код, после чего скрипты перестают нормально работать. Постоянно исправлять код и заново тестировать неудобно, а если скрипт писали не вы, это становится почти невозможным.

Современные сайты часто используют AJAX-запросы для загрузки информации во время просмотра страницы. Например, Facebook подгружает ленту новостей при прокрутке. В таких ситуациях получить информацию через CURL не получится; для scraping таких сайтов нужен настоящий браузер. Selenium используется для автоматического управления браузером. Python-скрипт отправляет команды браузеру через Selenium и получает нужный текст или HTML-код.

Также стоит отметить, что Python-скрипты часто падают при работе с Selenium. Вы запускаете скрипт вечером в надежде получить свежие данные утром, но он останавливается сразу после того, как вы отошли от компьютера. Тогда приходится писать еще один скрипт, который будет контролировать работу первого. В результате все это превращается в громоздкий parsing-проект - и это только для одного сайта.

Из сказанного выше можно сделать вывод, что стандартный процесс parsing на Python требует значительных улучшений. На этом сайте вы найдете элегантное и стабильное решение этой проблемы.