На каждом сайте есть такой файл, который называется robots.txt Это набор инструкций для поисковых роботов, которые сканируют страницы сайта.Чем больше страниц просканировано таким ботом, тем больше вероятность, что информация с интернет-страницы попадёт в поисковую выдачу и читатели найдут то, что автор сайта написал.

Файл robots.txt создаётся в текстовом редакторе, а затем загружается в корневую папку. Ох, и не люблю же я это название! А причина проста.... Когда-то, читая на страницах интернета информацию об этом самом пресловутом файле robots.txt, я естественно следовала инструкциям, по созданию и применению оного. В пункте «Закачать файл в корневую папку сайта» я тормознула. Уж искала я эту самую папку.... запарилась....  Подробности о файле robots.txt >>>>

Интернет - полезная штука.