Юзер-агент парсер

Для того, чтобы представляться сайтам от имени разных пользователей помимо данных об операционной системе, ip адреса, разрешения экрана и других параметров, необходимо имитировать использование разных браузеров.

Для это потребуется большой список юзер агентов (user-agent) вида:

• Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.154 Safari/537.36
• Mozilla/5.0 (Windows NT 6.0; rv:14.0) Gecko/20100101 Firefox/14.0.1
• Mozilla/5.0 (iPhone; CPU iPhone OS 7_0_3 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11B511 Safari/9537.53

Парсинг производиться с сайта whatsmyuseragent.com - смысл заключается в том, что к этому сайту обращаются множество пользователей, желающих узнать свой user-agent. Сайт показывает пользователю то, что требуется и помимо этого дополнительно демонстрирует последние 10 запросов других пользователей - эти запросы парсит бот, тем самым формирую собственную базу юзер-агентов разных браузеров удаляя дубликаты и неверные данные, если таковы попадаются.

Парсинг желательно осуществлять с расписанием не менее чем в 1 минуту, чтобы данные на сайте успели обновляться.