Многоступенчатая защита от ботов

Зачем web-сайтам нужна защита от интернет-ботов?

Для начала, зачем web-сайтам нужна защита от интернет-ботов? Что такое интернет-боты? Какой вред они причиняют сайтам? Какую опасность представляют?

Говоря простыми словами, интернет-боты – это компьютерные программы, которые заходят на сайты с самыми различными (когда сравнительно безобидными, а когда и откровенно враждебными) целями.

Одна из основных задач интернет-ботов – сбор информации со страниц сайтов (так называемый парсинг). Ну например, информации о ваших товарах (описания, изображения, характеристики и пр.) Возможно, этот автоматизированный сбор ведётся вашим конкурентом, который вскоре выложит на своём сайте «спарсенные» с вашего сайта данные и тем самым – сэкономит своё время на самостоятельном создании карточек товара.

Вторая, куда менее безобидная задача многих ботов – проанализировать взломостойкость вашего сайта. Для этого боты запрашивают на сайте типовые названия наиболее популярных программных компонентов (к примеру, «info.php»), чтобы узнать, есть ли на вашем сайте такой компонент, и впоследствии попытаться через него взломать сайт (обратите внимание, что на созданных нами сайтах такие компоненты либо вообще не используются, либо доступ к ним извне наглухо перекрывается!).

Ещё одна разновидность ботов – это те, что предназначены для продвижения сайтов в поисковых системах. Для продвижения, разумеется, только тех сайтов, чьи владельцы заплатили денег за продвижение. Такие боты имитируют человеческое поведение и активно путешествуют по интернету, чтобы поисковые системы могли зафиксировать их визиты на множестве разных сайтов и чтобы со временем у этих ботов сформировалось некое подобие «человеческой репутации» в глазах поисковых систем (которые хотя и путают ботов с людьми, но без «репутации» не будут принимать во внимание поведение «путешественников»). Далее «боты-путешественники» заходят на сайты, владельцы которых оплатили продвижение, и изображают для поисковых систем крайнюю заинтересованность содержимым этих сайтов, вследствие чего поисковые системы повышают позицию ссылок на эти сайты в поисковой выдаче.

Казалось бы – причём тут ваш сайт? Вы-то за продвижение не платили, зачем ваш сайт понадобился «ботам-путешественникам»?

А затем, что с большой долей вероятности эти боты создают себе репутацию, путешествуя в том числе и по вашему сайту. Только в случае с вашим сайтом у них нет цели изображать интерес к его содержимому – а потому боты за считанные секунды «пролистывают» десятки страниц сайта, после чего поисковые системы, принимая таких ботов за людей, по их поведению делают вывод, что у вас неинтересный, малоинформативный сайт, и понижают его позиции в поисковой выдаче. В SEO этот эффект называется «ухудшение поведенческого фактора».

Как мы защищаем web-сайты от интернет-ботов?

Для защиты от ботов нами разработано множество различных алгоритмов, и ниже расскажем про некоторые из них.

Алгоритм «дятел»: предназначен для ботов, которые в течение одной-двух секунд десятки или сотни раз запрашивают одну и ту же страницу (это равносильно поведению посетителя, который за одну секунду десятки или сотни раз успел бы нажать комбинацию клавиш «Ctrl+R» обновления страницы). Такие боты создают огромную и совершенно ненужную нагрузку на сервер, не принося владельцу сайта никакой пользы. Действие: блокировка бота (через некоторое время в ответ на очередной запрос он получает короткое текстовое сообщение «сайт недоступен»). 

Алгоритм «ясновидящий»: на сайте создаётся невидимая кнопка-ловушка, которую человек никогда не сможет нажать, так как не увидит её – нажать такую кнопку сможет только бот, поскольку видит страницу не глазами, как человек, а посредством анализа HTML-кода. Зачем боты нажимают такие кнопки? Дело в том, что боты запрограммированы на максимально возможное взаимодействие с интерактивными элементами на сайте: увидев в коде кнопку, бот нажмёт её просто затем, чтобы посмотреть, что из этого получится. Что из этого получится для бота: временная блокировка часа на два-три и выдача короткого текстового сообщения «сайт недоступен» в ответ на все последующие запросы страниц.

Алгоритм «Фантомас»: для ботов, которые в процессе путешествия по сайту меняют свой UserAgent (информацию о браузере, который используют для просмотра страниц сайта). Равнозначно тому, как если бы реальный посетитель зашёл бы на сайт через Яндекс-браузер, затем перешёл бы на страницу товаров через браузер Opera, далее решил бы посмотреть характеристики одного из товаров в браузере Google Chrome, и напоследок заказал бы этот товар в браузере Mozilla FireFox. Вам такое поведение кажется не вполне человеческим? Вот и нам тоже так кажется. Действие: блокировка бота.

Алгоритм «крот»: этот вид ботов начинает прогулку по вашему сайту, сразу же указывая в своих данных, что переход произошёл с одной из его страниц. Равнозначно тому, как если бы реальный посетитель закрепил страницу вашего сайта в браузере, подождал бы несколько дней, а затем перешёл бы по одной из ссылок на этой странице. Решение: запрос «капчи».

И много-много других алгоритмов, перечислить которые полностью на этой странице невозможно.