Когда сайт пользуется популярностью, существует проблема повышенной нагрузки на сервер. Бывают случаи, когда часть нагрузки создают роботы поисковых систем. Если сайт индексирует одна поисковая система, нагрузка может быть не слишком высокой, другое дело, когда сайт индексируется всеми (mail, google, yandex и т.д) поисковыми системами сразу. Причем у каждой поисковой системой робот не один. Если на вашем сервере они сойдутся "в одном месте и в одно время", нагрузка на сервер может вырасти в разы. Ситуация осложняется, если на вашем сайте много изображений: в этом случае, помимо обычных ботов по сайту начинают ходить ещё и роботы, которые индексирую изображения. У вас начинает сильно увеличиваться потребление как оперативной памяти, так и ресурсов процессора.

Чтобы хоть как-то разгрузить сервер от поисковиков существует директива Crawl-delay в robots.txt:

User-agent: *
Disallow: /search
Crawl-delay: 9 # задает таймаут в 9 секунд

Как работает с Crawl-delay yandex можно почитать здесь: https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#crawl-delay

Так же есть отдельные настройки внутри самих поисковых машин: https://yandex.ru/support/webmaster/service/crawl-rate.html#crawl-rate 

Также имеется возможность заблокировать перечень самых популярных ботов через настройки сервера. Для этого Вам необходимо войти в панель Plesk и найти раздел "настройки apache и nginx", в дополнительных директивах nginx следует прописать следующий код:

if ($http_user_agent ~* (bingbot|axios|mj12bot|DotBot|SemrushBot|DataForSeoBot|AhrefsBot|MASHIAH|PetalBot|SeznamBot|Screaming|Barkrowler) )
{
return 444;
}