Как распознать нашествие ботов и защитить сайт компании от падения в рейтинге

На любой сайт, в любое время дня и ночи, могут прийти они — толпы ботов. Они притворяются «живыми» пользователями, нагружают сервер и могут подпортить репутацию сайта в глазах поисковых систем. Разберёмся, как вовремя распознать нашествие ботов, и расскажем про 3 способа защиты своего сайта.

Зачем насылать ботов?

В Яндексе есть понятие «поведенческий фактор» — один из важнейших критериев, по которым сайт ранжируется в поисковой выдаче. По поведенческому фактору Яндекс оценивает, насколько сайт полезен пользователям, и решает, на какой странице и позиции результатов его показывать.

Например, пользователь загуглил «как защитить сайт от ботов» и наткнулся на эту статью. Ему понравился 1 из 3 способов, о которых мы рассказали, он его запомнил, закрыл статью и больше к Яндексу с этим запросом не обращался. Пользователь получил ответ на вопрос, а сайт получил плюсик к ранжированию.

Те, кто любыми способами пытается вывести сайты в ТОП, быстро поняли и оценили такую фишку Яндекса — появилась накрутка поведенческого фактора. На сайт целенаправленно нагоняют толпу ботов, которые пытаются имитировать действия обычных пользователей: скроллят страницы, переходят по разделам, вдумчиво «читают» статьи. Алгоритмы Яндекса оценивают это как интерес со стороны пользователей и поднимают сайт в поисковой выдаче.

Но в Яндексе быстро заметили, что их обманывают и используют лазейки в алгоритме, чтобы выводить сайты в ТОПы. В ответ на ботов Яндекс усовершенствовал алгоритмы так, чтобы они смогли вычислять искусственных пользователей.

Так началась настоящая битва, которая идёт до сих пор — ботов совершенствуют, делают умнее и ещё скрытнее, а Яндекс совершенствует алгоритмы, чтобы вычислять всё новых ботов. Теперь, когда Яндекс видит подозрительно высокую активность, он наоборот понижает позиции сайта и старается не показывать его пользователям.

Усовершенствованные алгоритмы Яндекса тоже начали использовать в своих целях — ботов нагоняют на сайты конкурентов, чтобы вывести их из игры. Это и называется «нашествием ботов». Но в отличие от «умных» ботов, эти специально нелепо копируют действия пользователей, чтобы Яндекс как можно быстрее применил санкции к сайту, например, отправил его вниз по поисковой выдаче или вовсе перестал показывать в результатах. Так конкуренты начали устранять друг друга.

Но не торопитесь сразу винить конкурентов и писать им на почту гневные письма — боты могут просто «нагуливать пузо», собирая полезную им информацию. Таких ботов просто «прокачивают», чтобы использовать в будущем для накрутки поведенческого фактора. Пока боты «качаются», они приходят на рандомные сайты, которые только попадаются на их пути.

Для владельца сайта это тоже может обернуться пессимизацией в Яндексе и падением позиций, потому что алгоритмов «прокачки» ботов тысячи. Если на одном и том же сайте боты слишком часто будут «нагуливать пузо», он тоже может отправиться на дальние страницы поисковой выдачи.

Давайте разбираться, как вовремя заметить нашествие ботов, которые «нагуливают пузо» или пришли от конкурентов, и какими способами защитить сайт.

Как заметить нашествие ботов до понижения в рейтинге

Когда сайт «упадёт» от мощной DDos-атаки или алгоритмы начнут показывать его только на пятой странице результатов поиска — нашествие ботов будет очевидным. Но заметить подозрительную активность можно и раньше:

1. Резко увеличивается трафик. Это кажется полезным только на первый взгляд. Если на сайте одномоментно поступают большие объёмы трафика, а вы не давали рекламу, — это может быть нашествием ботов.

2. Показатели необъяснимо меняются. Если вы заметили нетипичные отказы, резкий упадок конверсий, уменьшение времени или глубины просмотра, причиной тоже могут быть боты.

3. «Пользователи» ведут себя странно. Если поведение пользователей изменилось и стало нелогичным, например, посетители кликают по несуществующим ссылкам или хаотично переходят по страницам, то, скорее всего, это не «живые» пользователи, а роботы.

4. В отчётах аналитики появились нетипичные показатели. Если данные веб-аналитики резко и беспричинно изменились — могли постараться боты. Сравните текущие отчёты метрики с показателями за прошлый период, чтобы оценить изменения.

3 способа защитить сайт от ботов

Реанимировать сайт после нашествия ботов намного сложнее, чем заранее защитить его от нежелательных «посетителей». 3 самых популярных способа защиты: блокировка IP-адресов, встроенная защита от хостинга и специальные сервисы защиты от ботов.

1. Блокировка IP-адресов.

Это самый распространённый, но, к сожалению, самый неэффективный способ защиты от ботов. В «Менеджере IP-адресов» потребуется вручную создать правило блокировки или блокировать отдельные адреса. Но сейчас многие боты используют мобильные прокси, который подменяет IP-адрес и в случае блокировки мгновенно меняет его на другой.

Можно заблокировать подсети в файле robots.txt или .htaccess, чтобы не пропускать ботов на сайт. Но такая блокировка может затронуть и «настоящих» пользователей, а не только ботов. В результате сайт окажется недоступным и для ботов, и для «живых» посетителей.

Блокировка IP-адресов сработает только как временное решение, но точно не будет эффективно работать в перспективе.

2. Встроенные средства защиты от DDoS-атак и нашествий ботов.

У многих хостинг-провайдеров есть встроенные средства защиты от DDoS-атак, которые можно использовать и против нашествия ботов. Инструменты фильтруют IP-адреса, блокируют повторяющиеся запросы, отличают «хороших» и «плохих» ботов, определяют, есть ли угроза уже на первом запросе и многое другое.

Средства защиты от DDoS-атак на популярных хостингах можно найти даже в базовых тарифах. Они выглядят как отдельный IP-адрес, который пропускает только допустимый трафик и блокирует любые подозрительные активности. Некоторые хостинги предлагают ещё и собственный дополнительный модуль, который устанавливается на сайт и настраивается по конкретным правилам.

Всего одно движение ползунка и ~300 рублей в месяц, чтобы забыть про проблемы с ботами и быть уверенными в безопасности сайта — встроенная защита справится с нашествием. Такой же способ защиты мы используем в агентстве.

Есть всего один нюанс, про который нельзя забывать: обязательно попросите техподдержку отключить встроенное кеширование. Иначе обновления на сайте будут появляться раз в сутки при каждом сбросе кеша со стороны хостинга. Поэтому убедитесь, что кеширование отключено сразу после подключения защиты от ботов.

3. Сервисы защиты от DDoS-атак и ботов.

Тех, кто обещает защитить сайт от ботов и DDoS-атак, тысячи, например, Amazon CloudFront, Incapsula, Akamai, Fastly, Cloudbric и другие. Они справляются с масштабным нападением, но неизвестно, как защищают именно от небольших атак ботов. Нашим фаворитом среди сервисов защиты от ботов стал CloudFlare, которым мы защищаемся и сами.

В первую очередь, CloudFlare — это сервис защиты от DDoS-атак. Но вместе с этим он отлично показал себя в борьбе с ботами — мы проверили.

На бесплатном тарифе сервиса предустановлен базовый уровень защиты от ботов, даже он справится с небольшим нашествием. Для усиленной защиты с дополнительным функционалом есть продвинутые платные тарифы: Pro (от $20 в месяц), Business (от $200 в месяц) и Enterprise (стоимость индивидуальна).

Чтобы настроить CloudFlare, потребуется время и базовые технические знания, но это того стоит — сервис зарекомендовал себя самым мощным и надёжным способом защиты от ботов. При подключении CloudFlare берёт текущие DNS-записи у домена и полностью копирует их к себе. Сервис автоматически кеширует данные, ведёт собственную статистику, мониторит посещения и имеет множество дополнительных приложений и бесплатный SSL-сертификат.

Но даже здесь не обошлось без нюанса, с которым придётся мириться. CloudFlare 5 секунд показывает каждому пользователю окно-предупреждение, а только после пропускает на сайт:

CloudFlare 5 секунд проверяет браузер каждого пользователя, чтобы убедиться в его безопасности

Регулярно следите за активностью на сайте, обращайте внимание на странное поведение пользователей и не спешите радоваться резкому беспричинному наплыву трафика. А если заметите, что что-то пошло не так, тут же активируйте все средства защиты против ботов и DDoS-атак, чтобы сайт не упал в рейтинге и стабильно работал.

А мы всегда на связи, чтобы включиться в работу. Займёмся SEO-оптимизацией сайта, позаботимся о его безопасности, обновим страницы и настроим рекламу. Оставляйте заявку в форме ниже и начнём!

[yasr_visitor_votes size=»medium»]

Читайте также

Контекст vs SEO: на что потратить, чтобы заработать x2?
14.03.2024 179
Контекст vs SEO: на что потратить, чтобы заработать x2? Контекст или SEO, а может, и то и другое? Вопрос, с которым ко мне часто обращаются директора по маркетингу.
Ольга Павленко Ольга Павленко
Как в нише деталей трубопровода привлечь заказы на 23 млн р. выручки с ROMI 1763% с помощью SEO продвижения
25.09.2023 451
Как в нише деталей трубопровода привлечь заказы на 23 млн р. выручки с ROMI 1763% с помощью SEO продвижения До нашей работы у клиента было 20…30 лидов с SEO, которые не приносили продаж. Через год SEO стало приносить по 115 лидов ежемесячно. За 12 месяцев оборот компании достиг отметку в 23 млн р. Рассказываем, с какими трудностями столкнулись и как пришли к результату.
Татьяна Смольянова Татьяна Смольянова
Как увеличить количество визитов на сайт с SEO в 2 раза за 1 месяц?
28.09.2023 348
Как увеличить количество визитов на сайт с SEO в 2 раза за 1 месяц? Мы расскажем, как крохотные изменения могут повлиять на ранжирование. Проще говоря — как с помощью простых действий увеличить трафик.
Елена Сергеенкова Елена Сергеенкова

Обсудим ваш проект

Расскажите о задачах и задайте вопросы —
мы перезвоним в течение рабочего дня