Как использовать файл robots.txt?

Директива Crawl-delay.

Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

Примеры:
User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды

Продолжая использовать наш сайт, Вы даете согласие на обработку файлов - COOKIES, пользовательских данных (файлы-cookies, IP-адрес, данные об идентификаторе браузера, дата и время осуществления доступа к сайту, история поисковых запросов) для сбора аналитической и статистической информации.
Эти файлы позволяют рассчитывать посещения и источники трафика, измерять и улучшать производительность и функционирование веб-сайта, некоторые файлы-cookie устанавливаются только в ответ на совершенные действия пользователя, например, вход в систему или заполнение форм, функционирования сайта, проведения ретаргетинга и проведения статистических исследований и обзоров. Если Вы не хотите, чтобы Ваши данные обрабатывались, пожалуйста, покиньте сайт.