Как ускорить индексацию новых страниц в разы. Last-Modified и If-Modified-Since
Заветная мечта многих оптимизаторов — быстрая индексация страниц сайтов поисковыми роботами. Для этого создаются карты сайтов, файлы sitemap. xml, делается внутренняя перелинковка страниц