На каждом сайте есть такой файл, который называется robots.txt Это набор инструкций для поисковых роботов, которые сканируют страницы сайта.Чем больше страниц просканировано таким ботом, тем больше вероятность, что информация с интернет-страницы попадёт в поисковую выдачу и читатели найдут то, что автор сайта написал.
Файл robots.txt создаётся в текстовом реда
...
Читать дальше »