Как только ваш сайт набирает небольшую популярность на просторах интернета, он тут же привлекает к себе активность в виде плохих ботов, парсинга и краулеров. Вся эта активность выполняет некие автоматические дествия, чтобы тем или иным способом обогатиться за счет вашего сайта или выбить его в поисковой выдачи, в целях своей выгоды, например, конкурента!
Чем опасны плохие боты?
- Создают нагрузку на хостинг, тем самым придется доплачивать за доп. ресурсы.
- Нагуливают ваши записи, создавая фейковый трафик. “Плохо влияет на поисковую выдачу – рекламу”
- Собирают, анализируют информацию в целях своей выгоды.
- Пытаются украсть ваш сайт подбором пароля к вашей учетной записи.
- Оставляют рекламу к вашим комментариям.
Ежедневно на ваш сайт заходят десятки тысяч подобной активности, которая негативно влияет на рост сайта.
Подключаем защиту Cloudflare.
Регистрируемся на сайте здесь
Далее
Потом Cloudflare копирует DNS записи на свои сервера. Вам нужно отметить нужные, где нарисовано облако под значение “прокси”, необходимо отметить значения для записей A, AAAA и CNAME, щелкнув переключатель рядом со значком облака. Остальные значения можно оставить Auto.
После некоторого времени, от 15 мин до 24 часов DNS записи обновятся на серверах Cloudflare.
Отследить записи можно на Whois
Пропускаем хороших ботов.
Настраиваем пропуск хороших ботов.
Наша задача беспрепятственно пропускать хорошие боты.
Никакие Yandex, Mail.ru, Bing не пишем т.к. плохие боты маскируются под эти правила. Только ASNUM. Например, 13236, 13238, 208722, 15169. Как показано в примере на скрине.
Ip Source Address IP адес нашего сайта
Создаем два правила “ecuals” для нашего сайта ipv4 и ipv6. Узнаем на 2.ip.ru ссылка
Отсеиваем плохих ботов.
Мы пропустили хорошие, теперь наша задача остановить плохой трафик. И так, приступим!
Тут главное не переусердствовать, т.к. это может существенно снизить скорость вашего сайта и конверсию от посетителей. По этому, наша задача снизить показ каптч для реальных пользователей.
Далее нам нужно заблокировать прямые заходы HTTP 1.0 / 1.1 / 1.2 и заходы с отсутствующим SSL сертификатом, чем активно пользуются плохие боты.
Мы добавили в исключение хорошего бота Yandex, который заходит на наш сайт по старому протоколу, чтобы не приходило предупреждение из Yandex- Мастера.
Блокируем страны
Тут все индивидуально. У каждого свой способ. Кто-то блокирует все страны, кроме Казахстана, Белоруссии и РФ, а кто-то экспериментирует, как я, и вносит все страны бывшего СНГ. Не стоит забывать, что там живет очень много русско-язычного населения. Мы не должны терять чистую конверсию. И вообще, спорное решение блокировать страны. Да, согласен, что из многих стран как Германия, Франция, Сингапур идет много плохого трафика, но в этом случае достаточно будет первого правила. т.к. он и так не плохо стправится, и мы не будем показывать каптчу нашим пользователям.
Я использую такие настройки, и боты отсеиваются на ура. Вы можете экспериментировать или вовсе не использовать это правило. т.к. я описал ранее, существенно вам этот метод не поможет.
Блокируем шаринг искусственного интеллекта и поведенческие факторы.
В нынешних реалиях, искусственный интеллект стремительно развивается. Он активно впитывает всю информацию из интернета, тем самым создавая нагрузку на ресурсы вашего сайта. Cloudflire здесь позаботился и дает нам возможность защититься от этой напасти.
Второе правило отсекает поведенческие правила, то есть, однотипные поведения на сайте, которые создают нагрузку на сайт. Выставлено значение 20, которе осекает 100% только ботов.
