Инженер Google Гэри Илш, который следит за качеством поиска, рассказывает об алгоритме, на который настроен поисковый робот. При опрашивании страниц сайта, робот, получив ответ HTTP 403, отправит данные на центральный сервер и запросит удаление этой страницы из индекса Google. В будущем эта страница не будет посещаться роботом. Если необходимо скрыть страницу от индексации, но при этом она должна остаться в поиске, следует использовать код HTTP 404.
Если страницу необходимо всё же проиндексировать, но только спустя некоторое время, следует применить код HTTP 503, который даст роботу понять, что этот адрес не отвечает по техническим причинам, и его необходимо посетить в следующий раз.
Умелое управление редиректами, правильная настройка sitemap и robot.txt, даёт вебмастеру отличный инструмент, который позволяет контролировать и управлять видимостью сайта в интернете и поисковой выдаче.
Вернуться в раздел