инструменты / карта сайта
Генератор sitemap.xml
Соберём sitemap.xml заново: обойдём сайт по ссылкам, добавим
адреса из старой карты и оставим только страницы, которые должны быть
в поиске. Бесплатно, до 500 страниц.
Открываем главную…
Проверяем по две страницы за раз с паузой, чтобы сайт не принял обход за атаку. 500 страниц это около пяти минут. Не закрывайте вкладку.
Дата изменения у всех страниц стоит сегодняшняя, это день сборки. Изменилось что-то на сайте: соберите карту заново и замените файл.
Эти адреса стоят в нынешней карте сайта, но в индекс им не надо.
Нашлись обходом по ссылкам, а в нынешней карте их нет.
Есть в старой карте и проходят проверки, но ни одна проверенная страница на них не ссылается. В карту они вошли, а ссылки на них стоит поставить.
Не ответили дважды. Это не значит, что страниц нет: откройте их сами.
Что попадает в карту
Только страницы, которые отдают код 200, не закрыты в robots.txt, не
запрещены к индексации тегом noindex или заголовком
X-Robots-Tag и у которых canonical указывает на них самих.
Редиректы, 404, страницы пагинации, адреса с параметрами, файлы
и адреса на другом протоколе или с www не попадают. Почему выкинут
каждый адрес, видно во вкладке «Выкинуто».
Страницы ищем двумя путями: обходим сайт по ссылкам с главной и берём адреса из нынешней карты сайта. Так находятся и новые разделы, которых в старой карте нет, и страницы, на которые никто не ссылается.
Куда положить готовый файл
В корень сайта, чтобы он открывался по адресу ваш-сайт.ру/sitemap.xml.
В robots.txt добавьте строку Sitemap: https://ваш-сайт.ру/sitemap.xml
и отправьте карту в Яндекс Вебмастер и Google Search Console.
Вопросы
Почему у всех страниц одна дата
Ставим дату сборки: узнать со стороны, когда менялась каждая страница, нельзя. Поэтому карту стоит пересобирать после изменений на сайте, а не держать годами.
Откуда приоритет у страниц
По вложенности адреса: главная 1.0, разделы первого уровня 0.9,
второго 0.8, всё глубже 0.7. Если услуги лежат сразу после домена,
у них будет 0.9, как у разделов. Частоту обновления
(changefreq) не ставим: поисковики её не учитывают.
Сколько страниц проверяется
До 500 бесплатно. Сайт больше: карта соберётся из первых 500, а на странице будет сказано, сколько адресов осталось в очереди.
Учитываются ли правила robots.txt для Яндекса отдельно
Нет, читаем раздел для всех роботов, User-agent: *. Если
что-то закрыто только в разделе для Яндекса, проверьте вкладку
«В карте» сами.
Нужна ли карта небольшому сайту
Поисковики найдут страницы и по ссылкам, но карта помогает им быстрее узнать о новых страницах. Плохая карта с 404 и редиректами хуже, чем никакой: поэтому старую стоит сверить с новой.