Cоздаем файл sitemap.xml

Карта сайта xml необходима для улучшения индексации сайта.

Вперёд

Создаем правильный robots.txt

Как создать страницу 404 ошибки?"

Создадим карту сайта с помощью онлайн генератора:
www.xml-sitemaps.com

Прописываем в файле robots.txt строку User-agent: Googlebot
Sitemap: https://www.site.ru/sitamap.xml