Создаем правильный robots txt

Показываю как создается файл robots.txt, что необходимо закрыть от индексации в поисковых систем Яндекс и Google.

Вперёд

Итоги и ошибки 20 дней продвижения

Cоздаем файл sitemap.xml?"

Материал к видео robots.txt

Пример кода

Создаем robrots

User-agent: Yandex
Disallow: /rezerv/
Disallow: /errors/
Allow: /images/
Host: https://www.site.ru

User-agent: Googlebot
Disallow: /rezerv/
Disallow: /errors/
Allow: /images/

Sitemap: https://www.dorogavtop.ru/sitamp.xml

User-agent: *
Disallow: /rezerv/
Disallow: /errors/
Allow: /images/

Добавление

Вставляем файл в корень сайта

Важно

Не закрывайте от индекса нужные файлы

Индексация

Robots.txt

Закрывайте страницы корзины и поиска