Google добавил в Search Console новый отчет robots.txt, содержащий всю информацию об индексации страниц на сайте.
В частности, из отчета можно узнать, какие файлы robots.txt Google нашел для 20 лучших хостов на сайте, дату последнего сканирования документа, а также предупреждения об обнаруженных ошибках.
Теперь, если у вебмастера возникают какие-либо проблемы с индексированием и сканированием страниц, с помощью отчета можно понять, связаны ли они с файлом robots.txt.
Информация о состоянии robots.txt также доступна из отчета об индексации страниц в Search Console.
В Google сообщили, что новый отчет заменит собой инструмент проверки robots.txt, в котором больше нет необходимости.
Источник: searchengines.guru
