Excavator

Описание

Diggernaut — это облачный сервис для просмотра веб-страниц, извлечения данных и других задач ETL (извлечение, преобразование, загрузка). Если вы являетесь реселлером товаров и ваш поставщик не предоставляет вам свои данные в подходящем формате, таком как excel или csv, вам придется вручную получать данные с их веб-сайта. Все, что вам нужно сделать, это создать копатель, крошечный робот, который может выполнять веб-скрапинг от вашего имени и извлекать данные с веб-сайтов для вас, нормализовать их и сохранять данные в облаке. Как только это будет сделано, вы можете загрузить его в формате CSV, XLS, JSON или даже получить его с помощью нашего Rest API.

Если у вас нет навыков программирования, вы можете использовать инструмент Excavator для создания конфигурации для ваших парсеров. Это простое приложение «укажи и щелкни», в котором вы выбираете, какие данные вы хотите извлечь, и устанавливаете, как вы хотите, чтобы они были в вашей структуре выходных данных. У нас есть видео уроки, объясняющие, как использовать его на нашем веб-сайте песочницы.

Если вы программист или веб-разработчик, вы можете использовать метаязык для создания конфигурации для диггера. Таким образом, вы можете решать действительно сложные задачи по извлечению данных. У нас есть обширная документация по метаязыку, которая поможет вам привыкнуть к ней; также у нас есть много сообщений в нашем блоге, где мы показываем, как вы можете использовать различные функции метаязыка для решения различных реальных задач.