Если есть задача собрать и отфильтровать сайты по определённым признакам, этот бот очень пригодится, ведь он может сделать это в автоматическом режиме. Парсинг идёт с помощью Google по заданному ключевому слову.
Для работы бота необходимы несколько файлов: ключевые слова для поиска в Google; файл с признаками, по которым бот будет определять нужный сайт (ссылку); файл для сохранения результатов. После успешного выполнения ключевое слово удаляется из файла и, если есть ещё ключевики, парсинг продолжается.
Что касается дополнительных настроек, то есть возможность установить глубину парсинга, а также режим поиска: считать сайт валидным только по нахождению одного или всех признаков (на личное усмотрение).
Комментариев нет:
Отправить комментарий