Как работает парсинг сайтов поставщиков

Откуда сервис берёт товары

При парсинге страницы сервис ищет товары тремя способами, пока не найдёт результат:

• JSON-LD — структурированная разметка schema.org, которую используют большинство современных магазинов;
• OpenGraph — мета-теги карточек (og:title, og:price);
• Селекторы — ваши правила, если сайт не размечен (см. настройку источников).

Три режима парсинга

• Листинг — быстрый сбор со списков товаров: название, цена, артикул, фото, ссылка.
• С карточками — второй проход по карточкам: полное описание, все характеристики, галерея изображений.
• Весь каталог — обход категорий и пагинации до 5000 страниц: сервис сам находит ссылки и идёт вглубь сайта.

Вежливость и ограничения

Сервис соблюдает robots.txt (отключается в карточке источника), держит паузу между запросами (по умолчанию 800 мс, настраивается), ограничивает число страниц и товаров. Каждый запуск — отдельная «выгрузка» со статусами, статистикой и логами ошибок: видно, сколько страниц обработано, сколько товаров собрано и какие страницы не ответили.

Расписание

В карточке источника включите расписание и укажите cron-выражение (например, 0 6 * * * — каждый день в 6:00). Встроенный планировщик запустит парсинг сам.