Мастер-Каталог
Главная / База знаний / Парсинг

Источники: селекторы, карточки товаров и расписания

Парсинг

Правила полей (field_mapping)

Для сайтов без разметки задайте список товаров и поля в карточке источника:

{
  "mode": "inline",
  "list_selector": "article.product_pod",
  "fields": {
    "name": "h3 a@title",
    "price": "p.price_color",
    "url": "h3 a@href",
    "image": "img.thumbnail@src",
    "sku": ".sku"
  },
  "pagination_selector": "li.next a@href"
}

Мини-язык селекторов

  • селектор — текст элемента: h1, .price;
  • селектор@атрибут — значение атрибута: h3 a@title, img@src;
  • :scope — сам элемент списка (например, ссылка целиком: :scope@href).

Для карточек товара есть отдельные поля: detail_description, detail_price, detail_properties (формат «селекторИмени;селекторЗначения»), detail_gallery.

Лимиты и паузы

  • max_pages — максимум страниц за запуск (в режиме «весь каталог» — до 5000);
  • max_products — максимум товаров;
  • request_delay_ms — пауза между запросами (не снижайте без нужды — забанят);
  • respect_robots — соблюдение robots.txt.

Расписание и автоматика

Включите schedule_enabled и укажите cron: 0 6 * * * — ежедневно в 6:00, 0 */4 * * * — каждые 4 часа. Планировщик сервиса сам создаст выгрузку и запустит парсинг.


Не нашли ответ?

Создайте тикет в поддержке — опишите вопрос, приложите скриншот и адрес страницы.

Написать в поддержкуВсе статьи
Читайте также