Как стало известно благодаря новостному ресурсу Search Engine Roundtable, в разделе Google Webmaster Help, который был создан специально для оказания помощи вебмастерам, появились жалобы касательно того, что отчет об индексации страниц в Google Webmaster Tools указывает на блокирование большого числа URL.
В ходе недолгого расследования обнаружилось, что в Google использовали robots.txt для блокировки сотен тысяч страниц. В конечном счете страницы были удалены, как и соответственные строки файле ограничения доступа к содержимому роботам для того. Однако отчеты об индексации Google по-прежнему показывают страницы как заблокированные алгоритмом.
Представитель компании Джон Мюллер отметил, что на повторное сканирование и обнаружение уже несуществующих страниц может занять у интернет-гиганта довольно долгое время. По его словам, поисковой робот понимает произошедшее так, будто страницы просто «выпали» из индекса в определенный момент времени. Однако позже он снова их проиндексировал, что и привело к подобному недоразумению. Тем не менее, это никак не отражается на ранжировании сайтов алгоритмом, ведь это просто особенность его функционирования.