База знаний
Crawl-delay
Опубликовано Светозар Колесников on 07 February 2015 01:35

Когда сайт пользуется популярностью, существует проблема повышенной нагрузки на сервер. Как правило, часть нагрузки создают поисковые системы. Если сайт индексирует одна поисковая система, нагрузка может быть не слишком высокой, другое дело, когда сайт индексируется всеми(mail, google, yandex и т.д) поисковыми системами сразу. Причем у каждой поисковой системой робот не один. Если на вашем сервере они сойдутся "в одном месте и в одно время", нагрузка на сервер может вырасти в разы. Ситуация осложняется, если на вашем сайте много изображений: в этом случае, помимо обычных ботов по сайту начинают ходить ещё и роботы, которые индексирую изображения. У вас начинает сильно увеличиваться потребление как оперативной памяти, так и ресурсов процессора.

Чтобы хоть как-то разгрузить сервер от поисковиков существует директива Crawl-delay в robots.txt:

User-agent: *
Disallow: /search
Crawl-delay: 9 # задает таймаут в 9 секунд


Как работает с Crawl-delay yandex можно почитать здесь: https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#crawl-delay

(7 голос(а))
Эта статья помогла
Эта статья не помогла

Коментарии (0)