Для того, чтобы интернет-ресурс быстро сканировался роботом гугла, нужно добавить его в «Инструменты для вебмастеров» на ресурсе крупнейшего поисковика Google. Для этого нужно зарегистрироваться на названном сайте и в «Аккаунт» найти раздел снизу справа «Инструменты для вебмастера». На главной странице раздела будет кнопочка «Добавит сайт».  Добавление сайта в Гугл. >>>> 

О файле robots.txt