Sitemap: устанавливаем карту сайта

Sitemap, или карта сайта, — перечень страниц сайта для пользователей или поисковиков. Карта содержит все основные разделы сайта и его страницы.

Кроме этого, Sitemap включает в себя:

• URL-адреса всех страниц сайта в порядке иерархии.
• Формат контента — текста, видео, изображений — всего веб-ресурса.
• Сведения о визуальном контенте, который поисковые роботы вносят в свои базы данных. Эта информация нужна для формирования поисковой выдачи.
• Сведения о приоритетности страниц.
• Время последнего обновления каждой страницы сайта.
• Данные о других версиях страниц.
  

Карты сайта помогают и поисковым роботам, и обычным пользователям понимать, где находятся страницы. Sitemap также помогает оценить приоритетность страниц по отношению к другим документам. Карты сайта способствуют эффективной и корректной индексации сайта.


Не просто карта, а ключ к индексации

Разновидности карт Sitemap

Существует два вида Sitemap — HTML-карты и Sitemap.xml. Первые предназначены для пользователей, вторые — для поисковиков. HTML-карты представляют собой каталог веб-ресурса с отображением его структуры. Такие карты позволяют пользователям путешествовать по сайту и находить нужные страницы. Карты сайта для поисковых систем — это XML-документы со служебной информацией. Они позволяют поисковым роботам свободно ориентироваться на сайтах и правильно их индексировать.



Зачем нужна карта сайта

О назначении sitemap.xml подробно рассказывается в справочниках для веб-мастеров Google и «Яндекс». Если говорить кратко, в sitemap.xml есть важная информация для поисковых роботов:

1. Перечень страниц сайта и их последовательность;

2. Тип контента на веб-ресурсе:

• текстовый, графический, видео;
• данные о картинках и видео, которые поисковые системы используют для индексации ресурса и формирования его выдачи;
• последние обновления, частота их внесений;
• приоритетность просмотра страниц;
• сведения о других вариантах страницы.
  

Другими словами, карты XML используются в качестве навигатора в поисковиках.



HTML-карта — это элемент навигации для обычных пользователей. Карта не нужна, если сайт имеет понятную и логичную структуру, удобное меню. Посетители обычно жалуются на запутанность структуры крупных сайтов. Эту проблему эффективно решает sitemap.xml.

В качестве примера возьмем сайт государственного пенсионного фонда. Основная масса пользователей таких веб-ресурсов — пожилые люди. Им трудно ориентироваться на сайте с помощью меню, поэтому лучше добавить HTML-карту. Таким образом, решая, нужна ли карта сайта, учитывайте особенности целевой аудитории.


Этот раздел или этот?

Как создать и подключить файл sitemap.xml

Sitemap.xml — важная часть любого сайта. В некоторых случаях, если XML-карта отсутствует, могут быть проблемы с индексированием, например:

• имеются страницы без ссылок с других страниц ресурса;
• ресурс очень большой, у него сложная структура;
• сайт новый;
• страницы сайта постоянно обновляются;
• одни страницы важнее других.
  

При создании коммерческого сайта нужно обязательно сгенерировать и подключить sitemap.xml.

Есть 2 способа создания и подключения карты сайта:

• с помощью онлайн-генератора
• с помощью модуля или внутреннего генератора для конкретной CMS.
  

Рассмотрим эти способы подробнее.

С помощью онлайн-генератора

Преимущество способа — не нужно привязываться к конкретному движку. С помощью генератора можно сделать sitemap.xml для статичного сайта на HTML или для ресурса на любом движке.

Однако у метода есть недостаток: он не подойдет сайтам с ограниченным количеством страниц (сайты-визитки и т.д.). Предположим, на сайте 5 страниц, а новые вы создавать не хотите. В этом случае сделайте sitemap.xml через бесплатный внешний сервис. Если на сайте будут появляться другие страницы, бесплатные внешние сервисы для генерации не подойдут. Они не включают в карту новые URL, поэтому sitemap.xml будет неактуален.

Генераторы карты сайта:

• XML-Sitemaps;
• XML sitemap generator;
• Online XML sitemap generator;
• My Sitemap generator.
  

Чтобы создать карту сайта с помощью XML-Sitemaps, вам нужно указать URL сайта и нажать Start. Генератор создаст карту за пару минут. Вам останется только скачать файл sitemap.xml. Теперь загрузите sitemap.xml в корневую директорию на сайте с помощью FTP-клиента. Если вы не знаете, где находится корневой каталог ресурса, найдите файл index.html.

С помощью дополнительных модулей для CMS

Этот способ более удобный в сравнении с бесплатными генераторами. Метод обеспечивает дополнительную гибкость: вебмастер сможет управлять параметрами sitemap.xml. Помимо этого, периодически, после создания новых страниц, карта будет обновляться. Это возможно благодаря надстройкам, они же уведомляют поисковые системы о том, что карта обновилась.

Владельцам сайтов на WordPress нужно обратить внимание на плагин Google XML Sitemaps. Вам нужно установить и активировать модуль, после чего перейти на страницу настроек. В базовых параметрах включите уведомления для Гугла, добавьте URL карты сайта в robots.txt и включите сжатие файла sitemap.xml. Затем отключите автоматический расчет приоритета публикаций в разделе «Приоритет статьи». Приоритеты страниц нужно указать вручную.

Обратите внимание на раздел «Содержание карты сайта». Вам нужно включить в карту сайта только те страницы, которые нужны для индексации в поисковиках.


И никаких лишних страниц в индексе

Так, если у вас интернет-магазин, включите в sitemap.xml страницы категорий и меток: поисковики будут показывать пользователям страницы каталога. Не включайте страницы меток и категорий, если они не нужны в выдаче.

Обязательно отметьте галочкой функцию Include the last modification time: так плагин укажет в карте сайта, когда публикация обновлялась последний раз. Эта информация поможет роботам запланировать повторное индексирование страниц. В разделе Excluded Items можно исключить из sitemap.xml некоторые категории или страницы.



Раздел Change Frequencies позволяет выбрать, когда поисковики будут индексировать те или иные страницы. Скорее всего, поисковые системы не обратят внимание на параметр changefreq в sitemap.xml: они сами планируют краулинговый бюджет сайта. Однако плагин позволяет указывать эти настройки в карте сайта.

В разделе «Приоритеты» Вы можете указать приоритетность страниц ресурса в значении от 0,1 до 1,0. Приоритетность страницы по умолчанию составляет 0,5. Присвойте наиболее важным страницам высокий приоритет. Так, если на главной публикуются новости или анонсы новинок, именно ее можно сделать самой приоритетной страницей.

Время последнего обновления, приоритетность страниц и желаемая частота индексации — необязательная информация. Неизвестно, будут ее учитывать поисковики или нет. Однако вы ничем не рискуете, установив в этих разделах значения по умолчанию.

После сохранения изменений о Google XML Sitemaps можно «забыть»: плагин работает в фоновом режиме, обновляется автоматически и сам актуализирует карту сайта. Вам нужно будет только добавить sitemap.xml в кабинеты для вебмастеров «Яндекса» и Google.

Google XML Sitemaps — не единственный плагин для создания карты на WordPress. Так, в All in One SEO Pack есть модуль «XML карта сайта». С ее помощью можно создать карту сайта и настроить ее параметры.



При публикации видео можно создать для них отдельные карты, если вы хотите, чтобы эти видео ранжировали в поиске. Сделать это можно с помощью отдельного генератора, например, WP Video SEO. Генераторы карт сайта для других CMS:

• Sitemap Generator, PWT Sitemap для Joomla;
• XML Sitemap для Drupal;
• Yandex Sitemap для OpenCart.
  

После того, как вы создадите карту, нужно добавить ее в кабинеты вебмастеров «Яндекса» и Google.

Создание HTML-карты сайта

Все зависит от CMS. На WordPress создать HTML-карту можно с помощью плагина Hierarchical HTML Sitemap или похожих решений. Установите и активируйте надстройку, вставьте предложенный шорткод на страницу, где вы хотите разместить карту.

Решения для других CMS:

• OSMap для Joomla;
• Sitemap для Drupal.
  

В OpenCart HTML-карта сформируется автоматически.



Для сайтов на «Битриксе» (Bitrix) существуют особые модули и плагины, автоматически создающие карту сайта.

Можно самостоятельно создать HTML-документ со всеми важными ссылками. Они подойдут для опытных пользователей небольших сайтов. Другой вариант — воспользоваться SiteMap Generator. Инструмент позволяет сформировать несколько видов карт, но бесплатно — только для сайтов до 500 страниц.

Требования поисковиков к карте сайта

«Яндекс» и Google выдвигают особые требования к Sitemap:

1. Использовать UTF-8 кодировку.
2. Максимальное количество URL-адресов — 50 000.
3. Если размер файла более 10 МБ, нужно поделить его на несколько карт и прописать их в файле индекса Sitemap.
4. При обращении к Sitemap правильный ответ сервера — 200 ОК.
5. Могут быть только канонические URL документов без идентификаторов сессий или GET-параметров.
6. Ссылки, перечисленные в файле, должны вести к домену с картой сайта. Это простое требование часто не учитывают веб-мастера и забывают менять ранее созданные ссылки на актуальные.
   

Кроме общих, у поисковых систем есть индивидуальные требования к Sitemap. Так, размер файла для «Яндекса» ограничен 10 МБ до сжатия. Также поисковик допускает URL-адреса с кириллицей.

Google разрешает создавать карты размеров до 50 МБ до сжатия. В работе используются только цифры и буквы латинского алфавита. Чтобы перекодировать кириллические домены, можно использовать Punycode. Для снижения требований к пропускной способности канала используется программа-архиватор gzip.

Влияние Sitemap на продвижение

Карта сайта — необязательный элемент. Поисковики будут индексировать ресурс и без Sitemap.

Карта сайта помогает избежать нарушений в работе поисковых роботов. Последние быстрее находят нужную страницу и включают ее в выдачу благодаря Sitemap.


Хм... неплохая страница, добавлю-ка  я ее в выдачу

Наличие карты сайта уменьшает риск плагиата: ваши конкуренты не смогут взять контент с вашего сайта, разместить его на своем ресурсе и выдать за свой. Также Sitemap обеспечивают своевременное попадание страниц в выдачу.

Все вышеперечисленное значительно способствует продвижению сайта в поисковых системах.

Sitemap: создать и забыть

В идеале при разработке карты сайта должно быть только 2 действия — создали и забыли. Чтобы так и произошло, пользуйтесь плагинами и моделями для CMS: они автоматически генерируют sitemap и актуализируют его, когда на сайт добавляются новые страницы.


Уже забыл!

Добавьте карты в кабинеты вебмастеров Google и «Яндекса». После этого можно забыть о sitemap. При возникновении проблем с индексированием карты поисковики уведомят вас. Для решения проблем достаточно повторно создать карту и отправить ее на индексацию.