robots.txt
Также: файл robots
Текстовый файл в корне сайта с правилами обхода URL для поисковых роботов.
robots.txt управляет обходом, но сам по себе не гарантирует удаление URL из индекса. Ошибка в общем правиле Disallow может закрыть важный раздел, поэтому изменения проверяют на конкретных адресах до публикации.