CrawlRover — парсер сайтов и карт

Собирайте данные с любого сайта: авто-детекция таблиц, обход связанных страниц, фильтры каталога. Рецепты, мониторинг, экспорт.

CrawlRover — парсер карт и сайтов для сбора данных в таблицу прямо в браузере. Поддерживаются Яндекс Карты, 2ГИС, Bing Maps и Apple Maps. Собирайте организации по запросу или территории, находите их на других картах, дополняйте записи и экспортируйте результат без программирования. СБОР ПО ЗАПРОСУ И ТЕРРИТОРИИ - Поиск в видимой области: задайте категорию или ключевое слово — расширение пройдёт область карты по сетке. - Поиск внутри зоны: нарисуйте район или произвольный полигон и собирайте результаты по запросу в его границах. - Сбор по зоне без запроса: расширение проходит территорию на нескольких масштабах и находит доступные карточки, в том числе не попавшие в отдельную поисковую выдачу. МЕТОДЫ ОБНАРУЖЕНИЯ CrawlRover использует поиск на карте, списки результатов, отрисованные точки и карточки организаций внутри зданий — например, торговых и бизнес-центров. Доступные методы и последовательность обхода зависят от источника. ОЧЕРЕДЬ ЗАПРОСОВ Добавьте категории, ключевые слова и синонимы списком. Расширение обработает запросы последовательно, покажет прогресс по каждому и объединит результаты в одну базу без дублей. НЕСКОЛЬКО КАРТ — ОДНА БАЗА - Запускайте сбор по одной территории или запросу на нескольких картах. Следите за прогрессом каждого источника и работайте со связанными карточками в общей таблице. - Уже собранные организации можно найти на других картах: для одной записи, выбранных строк или результата завершённого сбора. Неоднозначные совпадения показываются до объединения. ПОЛЯ И ОБОГАЩЕНИЕ - Собирайте доступные сведения об организациях: название, адрес, категорию, телефон, сайт, часы работы и рейтинг. Дополняйте найденные карточки выбранными типами данных и обновляйте устаревшие поля без повторного первичного сбора. - Отзывы и фотоальбомы доступны как отдельные типы данных. Состав полей и доступность функций зависят от источника. - Анализ сайтов организаций: определение CMS, веб-аналитики и других технологий по доступному исходному коду сайта. САЙТЫ, РЕЦЕПТЫ И МОНИТОРИНГ - Извлекайте таблицы, списки и повторяющиеся карточки с сайтов без ручной настройки селекторов. Поддерживаются постраничная навигация и бесконечная прокрутка. - Сохраняйте настройки сбора в рецепты для повторного использования и отслеживайте изменения собранных значений во времени. ТАБЛИЦА И ЭКСПОРТ Просматривайте отдельную задачу или всю базу во встроенной таблице. Фильтруйте строки, сравнивайте сессии сбора и экспортируйте всю базу или выбранный срез в CSV, Excel (XLSX), JSON, GeoJSON и Google Таблицы. ДЛЯ ЧЕГО ПОДХОДИТ Исследование локального рынка, сбор справочников организаций, анализ конкурентов, изучение размещения бизнеса, мониторинг цен и ассортимента, подготовка данных для отчётов. КОНФИДЕНЦИАЛЬНОСТЬ И ОГРАНИЧЕНИЯ - Собранные данные обрабатываются локально в браузере и не отправляются на наши серверы. Вы сами запускаете сбор на открытых вами страницах. - Результаты зависят от покрытия карты, масштаба, доступности карточек и ограничений источника. Сбор не гарантирует обнаружение всех организаций на территории. Соблюдайте условия источников и применимое законодательство. ТОВАРНЫЕ ЗНАКИ Google Таблицы (Google Sheets) — товарный знак Google LLC. Названия Яндекс Карты, 2ГИС, Bing Maps, Apple Maps и Microsoft Excel используются исключительно для обозначения соответствующих сервисов и совместимых форматов. Все упомянутые товарные знаки принадлежат их соответствующим правообладателям. CrawlRover — независимый продукт. Он не аффилирован с владельцами перечисленных сервисов, не одобрен и не спонсируется ими.