Создать файл карты sitemap.xml и сохранить его в корне сайта ускоренная индексация сайта. По нему роботы проверяют структуру страниц, а также следят за обновлением контента.Crawl-delay задает частоту обращения роботов к страницам ресурса (Google пропускает данную инструкцию);Подробнее о настройке фа