Cloudflare | Иструкция по защите от ботов, краулеров, парсинга.

Как только ваш сайт набирает небольшую популярность на просторах интернета, он тут же привлекает к себе активность в виде плохих ботов, парсинга и краулеров. Вся эта активность выполняет некие автоматические дествия, чтобы тем или иным способом обогатиться за счет вашего сайта или выбить его в поисковой выдачи, в целях своей выгоды, например, конкурента! 

Чем опасны плохие боты?

  • Создают нагрузку на хостинг, тем самым придется доплачивать за доп. ресурсы.
  • Нагуливают ваши записи, создавая фейковый трафик. “Плохо влияет на поисковую выдачу – рекламу”
  • Собирают, анализируют информацию в целях своей выгоды. 
  • Пытаются украсть ваш сайт подбором пароля к вашей учетной записи.
  • Оставляют рекламу к вашим комментариям.

Ежедневно на ваш сайт заходят десятки тысяч подобной активности, которая негативно влияет на рост сайта.

Подключаем защиту Cloudflare. 

Регистрируемся на сайте здесь 

регистрация cloudflare

 
ВЫБИРАЕМ БЕСПЛАТНЫЙ ТАРИФ!
Отличия между платным и бесплатными тарифами незначительны. Основное отличие, что у вас не будет возможности загружать на сайт более 100 мб файлов. Вы загружаете файлы более 100 мб?
 

Далее

 Делегируем записи вашего регистратора в свой личный кабинет Cloudfire и ждем когда они обновятся!
 

Потом Cloudflare копирует DNS записи на свои сервера. Вам нужно отметить нужные, где нарисовано облако под значение “прокси”, необходимо отметить значения для записей A, AAAA и CNAME, щелкнув переключатель рядом со значком облака. Остальные значения можно оставить Auto.

Отметить записи cloudfire aaaa cname

После некоторого времени, от 15 мин до 24 часов DNS записи обновятся на серверах Cloudflare.

Отследить записи можно на Whois

Отслеживаем Dns cloudflire в Whois

Пропускаем хороших ботов.

Переходим Security / WAF
 
 Пример моей настройки.

 

Настраиваем пропуск хороших ботов.

(cf.client.bot) or (ip.geoip.asnum in {13236 13238 208722 15169}) or (ip.src eq 193.70.26.190 and ip.src eq 2001:41d0:1008:26ea::2)

Наша задача беспрепятственно пропускать хорошие боты.


Никакие Yandex, Mail.ru, Bing не пишем т.к. плохие боты маскируются под эти правила. Только ASNUM. Например, 13236, 13238, 208722, 15169. Как показано в примере на скрине.

Ip Source Address IP адес нашего сайта

Создаем два правила ecuals” для нашего сайта ipv4 и ipv6. Узнаем на 2.ip.ru ссылка

 

Отсеиваем плохих ботов.

Мы пропустили хорошие, теперь наша задача остановить плохой трафик. И так, приступим! 

Тут главное не переусердствовать, т.к. это может существенно снизить скорость вашего сайта и конверсию от посетителей. По этому, наша задача снизить показ каптч для реальных пользователей. 

(http.request.version in {"HTTP/1.0" "HTTP/1.1" "HTTP/1.2"}) or (http.user_agent eq "") or (not ssl)

Далее нам нужно заблокировать прямые заходы HTTP 1.0 / 1.1 / 1.2 и заходы с отсутствующим SSL сертификатом, чем активно пользуются плохие боты. 

Мы добавили в исключение хорошего бота Yandex, который заходит на наш сайт по старому протоколу, чтобы не приходило предупреждение из Yandex- Мастера.

Блокируем страны

Тут все индивидуально. У каждого свой способ. Кто-то блокирует все страны, кроме Казахстана, Белоруссии и РФ, а кто-то экспериментирует, как я, и вносит все страны бывшего СНГ. Не стоит забывать, что там живет очень много русско-язычного населения. Мы не должны терять чистую конверсию. И вообще, спорное решение блокировать страны. Да, согласен, что из многих стран как Германия, Франция, Сингапур идет много плохого трафика, но в этом случае достаточно будет первого правила. т.к. он и так не плохо стправится, и мы не будем показывать каптчу нашим пользователям. 

(not ip.geoip.country in {"AM" "AZ" "BY" "BW" "BG" "FI" "DE" "IT" "KZ" "KG" "LT" "MD" "PL" "RU" "RS" "SE" "TR" "US" "UZ" "NL"})

Я использую такие настройки, и боты отсеиваются на ура. Вы можете экспериментировать или вовсе не использовать это правило. т.к. я описал ранее, существенно вам этот метод не поможет. 

Блокируем шаринг искусственного интеллекта и поведенческие факторы.

В нынешних реалиях, искусственный интеллект стремительно развивается. Он активно впитывает всю информацию из интернета, тем самым создавая нагрузку на ресурсы вашего сайта. Cloudflire здесь позаботился и дает нам возможность защититься от этой напасти. 

Второе правило отсекает поведенческие правила, то есть, однотипные поведения на сайте, которые создают нагрузку на сайт. Выставлено значение 20, которе осекает 100% только ботов.

(cf.threat_score ge 20) or (cf.verified_bot_category in {"AI Crawler"})
Рейтинг
( 3 оценки, среднее 2.67 из 5 )
Понравилась статья? Поделиться с друзьями:
Progaplan
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: