iShura - Интернет обыватель

Яндекс всех уравнял

Как известно, в каждом журнале есть текстовый файл – robots.txt, который содержит параметры индексирования для роботов поисковых систем. Он практически одинаков для всех, за исключением директивы Crawl-delay. Crawl-delay задает поисковому роботу Яндекса тайм-аут между окончанием загрузки одной страницы и началом загрузки следующей. Например, для этого журнала задан тайм-аут в 10 сек, у другого он может быть в 10 раз больше. Чем больше значение, тем реже робот обращается к журналу и он не индексируется. Это, конечно, не очень хорошо, но мера вынужденная и позволяет значительно снизить нагрузку на сервер. Теперь Яндекс решил отказаться от учета директивы Crawl-delay и вводит ручное ограничение скорости обхода сайта. Для этого в Яндекс.Вебмастере появился новый инструмент – «Скорость обхода», который позволяет регулировать частоту запросов поискового робота к сайту. Но можно доверить Яндексу, который сам выставит оптимальную скорость обхода с учетом нагрузки, допустимой для сервера.

В Яндекс.Вебмастер появился новый инструмент — «Скорость обхода»

P.S. Изменить скорость обхода можно уже сейчас, но изменения вступят в силу с 22 февраля 2018 г.

Записи из этого журнала по тегу «Яндекс»

  • Пришли к консенсусу

    Поисковики и правообладатели выкурили трубку мира и подписали меморандум по борьбе с интернет-пиратством. Отныне поисковики обязуются сверяться со…

  • Время икс

    Как Яндекс и обещал, тематический Индекс Цитирования ушел в небытие. Это уже история. Но свято место пусто не бывает, появилась новая пузомерка ИКС…

  • Осторожно, сервис закрывается...

    Неожиданно для всех, Яндекс решил закрыть, служивший «вѣрой и правдой» пользователям более 10 лет, свой сервис «Фотки». Все фотографии пользователей…

  • Знакомьтесь, Яндекс.Еда

    Яндекс не перестает нас радовать новыми сервисами. Сегодня он пополнился еще одним «вкусным» сервисом – Яндекс.Еда, переформатированный из Foodfox…

  • Ещё лучше, ещё умнее

    Яндекс продолжает улучшать собственный браузер. В последней бета-версии браузера тестируется еще одно изменение в поиске по странице. Теперь, при…

  • YANY, oh yeah...

    Голосовой помощник Яндекса Алиса выпустила свой первый музыкальный альбом – YANY (Yet Another New Year). В дебютном альбоме всего шесть композиций.…

  • Сошлись на мировой

    Непримиримые противники долго бранились, но в итоге смогли прийти к консенсусу. Так сложились обстоятельства. ФАС оказался Google не по зубам.…

  • Яндекс займется снятием тревожности

    Многие, даже самые сознательные граждане, не любят ходить по врачам. По разным причинам. И, если где-то заболит, начинают звонить знакомым врачам. Но…

  • Палех, однако!

    Теперь, когда Яндекс запустил свой суперпоиск, работающий на основе нейронных сетей, найдутся все необычные, редкие и сложные поисковые запросы.…