Использование файла Sitemap. Файл Sitemap: HTML, XML, TXT, как создать и добавить в Яндекс и Google вебмастер Где находится файл sitemap

Изначально думал написать простой и легкий «пост выходного дня» об одной интересной штуке, которую недавно заметил в Google Search Console. Оказывается сейчас в панелях вебмастеров Яндекс и Google имеется автоматическая проверка ошибок в XML картах сайта. Раньше, помнится, для подобных целей использовались специальные сервисы, но теперь все стало гораздо проще.

В статье найдете не только описание ошибок, которые с их помощью можно отслеживать, я также решил дополнительно рассказать о том как добавить файл Sitemap в Яндекс Вебмастер и Google Search Console. Ничего сверх грандиозного не открою, но, возможно, кто-то упустил этот момент + новичкам пригодится. Содержание:

• + полезные линки.
• (в т.ч. поиск ошибок).

1. Создаем XML Sitemap

Если в вашем веб-проекте еще нет карты сайта, обязательно сделайте ее — это крайне полезная фишка при (особенно в новых ресурсах). Хочу заметить, что в данном случае речь идет о специальном формате XML (для поисковиков), а не о HTML (посетителям). Механизм работы зависит от используемого вами движка, вот несколько статей по теме:

• Делаем (обзоры плагинов).
• — парочка сервисов для любых ресурсов.
• (в том числе рассмотрена и XML).
• Хитрых хак создания Sitemap в Blogspot блоге .

Sitemap: http://имя_домена/sitemap.xml

Вообще встречал информацию, что поисковые системы самостоятельно умеют находить XML карту сайта, если она располагается по стандартному адресу, но в принципе, лучше все же загрузить ее в панели инструментов.

2. Добавляем Sitemap в Гугл (Search Console)

Раньше данная панелька называлась Webmasters Tools да и выглядела она совсем по другому. Сейчас это более функциональный инструмент. Алгоритм действий следующий:

• Регистрируетесь в Search Console (если у вас уже есть гугл аккаунт, то и доступ в систему также будет);
• Подключаете туда свой проект и подтверждаете права.
• Для выполнения задачи добавления Sitemap XML переходим в раздел «Сканирование» — «Файлы Sitemaps».

На этой странице собрана вся информация по вашей карте сайта + вы можете добавить новую (2) или же увидеть наличие ошибок в текущих (3).

В Google Search Console поддерживаются вложенные Sitemap`ы — такая штука есть, например, в плагине Yoast SEO. Модуль при этом генерирует адрес: http://ваш_домен/sitemap_index.xml .

Теоретически вы можете добавить файл Sitemap в Googe Search Console только один (основной), а остальные объекты автоматически подхватятся. При этом на странице панельки будет отображаться только sitemap.xml , а при клике на него перейдете в подразделы.

Кстати, если будете грузить по отдельности все XML файлы (основной и подпункты), то общее число ссылок приплюсуется:

Вероятно, пока что в консоли нет инструмента для различения повторений или это просто такой формат отображения общего числа записей, или глюк.

Что касается ошибок в карте сайта

Если имеются какие-то проблемы с добавленным Sitemap XML то в панели увидите соответствующие обозначения (иконка восклицательного знача и запись в графе «Проблемы»). Кроме того, на странице конкретного файла карты сайта также будут предупреждения.

В случае на скриншоте вы можете видеть запись о том, что какое-то правило robots.txt не позволяет индексировать некоторые адреса блога. Такие вещи нужно исправлять, а после отправить файл на повторную проверку — кнопка «Тест».

В другом проекте у меня попалась ситуация похуже — карта сайта отдавала :(Это же вообще нонсенс. Причем нужный модуль был активирован, а я был полностью уверен, что все работает. Обнаружил проблему только после того как добавил Sitemap в вебмастерскую панель. Поэтому данная процедура достаточно важна, и занимает всего пару минут.

3. Загружаем Sitemap в Яндекс

Что касается то здесь после регистрации, добавления сайта и подтверждения на него прав, нужно перейти в раздел «Индексирование» — «Файлы Sitemap».

На странице имеется автоопределение карты из Robots.txt + сможете добавить свои файлы. Панелька также поддерживает вложенность. Если что-то пошло не так, отобразится запись об ошибке. В скриншоте выше проблемы связаны с тегом image:image в , который Яндекс не понимает. В Wordpres есть модули, устраняющие этот косяк, но, в принципе, он ни на что особо не влияет. Я лично оставляю все, как есть.

До того как добавить Sitemap в Яндекс.Вебмастер вы можете просто запустить быструю ее проверку. Этот инструмент доступен в разделе «Инструменты» — «Анализ Sitemap».

Итого

Как я уже говорил выше, советую потратить 5-10 минут дабы добавить файл Sitemap в Яндекс и Гугл. Если у вашего проекта его еще нет, обязательно создайте. Данный процесс как и использование поможет улучшить индексацию ресурса, а также позволит найти ошибки, о которых вы могли не знать. Ситуации бывают разные, например, обновляли CMS и забыли подключить модуль карты сайта, или тот самостоятельно начал глючить — когда Sitemap начинает отдавать 404 ошибку, это совсем не круто.

Пост, конечно, больше для новичков, но надеюсь вам также пригодилось. Если есть что дополнить, пишите ниже.

Добрый день, дорогие читатели!

Индексация веб-ресурсов поисковыми системами – дело сложное. Причем не только для вебмастеров, но и для самих поисковиков и их роботов. Чтобы облегчить им задачу, была придумана такая вещь, как карта сайта sitemap.xml. С ее помощью роботы смогут ориентироваться на страницах вашего проекта. Например, видеть рубрики, метки, страницы с каким-то нестандартным содержимым и прочее.

Sitemap важен как для статейников, так и для других проектов, таких как интернет-магазины, фотостоки или даже лендинги (особенно если они содержат не одну страницу). Сегодня мы поговорим о том, как эту самую карту сайта можно создать, также мы затронем тему наиболее предпочтительного варианта для WordPress.

Расскажу более подробно о том, зачем нужен Sitemap. Это файл со ссылками на страницы блога/сайта, который извещает поисковые системы об актуальной структуре ресурса.

Он может быть как статичным, так и динамичным. Первый актуален для таких же статичных необновляемых веб-ресурсов.

Такая карта сайта легко создается с помощью автоматического генератора и помещается в корневую папку ресурса. Второй вариант актуален для большей части проектов – все изменения в содержимом учитываются и автоматически заносятся в файл xml.

Далее этот фид можно добавить в Яндекс.Вебмастер и Search Console. Благодаря этому поисковые системы будут знать обо всех изменениях, которые происходят на вашем ресурсе. Будь то выход новой статьи или же простое изменение номера на странице контактов.

Естественно, в случае статичного файла, созданного с помощью генератора, вам заново придется выгружать его в корень, причем вручную. Не самый удобный вариант, но если ваш сайт написан на чистом html+css и обновляется раз в год, то это еще терпимо.

Если вы работаете с CMS, например, WordPress, то этот процесс можно максимально упростить и ускорить. С помощью плагинов вы сможете забыть о каких-то ручных манипуляциях. Нужно лишь организовать работу такого расширения, все настроить и далее направить ссылку в вышеозвученные сервисы. Все просто, никаких мучений. О том, как это сделать, мы поговорим далее.

Как создать Sitemap.xml для WordPress

Сайтмап, как я уже говорил, можно создать самыми разными способами. Вплоть до того, что написать его вручную. Но не будем на этом останавливаться, перейдем к рассмотрению более адекватных способов.

Создать карту сайта можно с помощью:

• онлайн-генератора;
• программы (тот же генератор, только не онлайн);
• плагинов;
• вручную.

Давайте поговорим обо всех этих вариантах подробнее.

Онлайн-генераторы и программы

С помощью них вы создадите именно статичный вариант sitemap.xml. Он не будет обновляться, поэтому подойдет для проектов, в которых изменения происходят не так часто. Обратите внимание на тот факт, что каждый раз для поддержания актуальности своей карты, вам придется заново заходить на сервис и генерировать ее, после заменяя старый файл новым.

Если ваш веб-ресурс обновляется каждый день, то такая вариация sitemap не выглядит слишком привлекательной. Однако при некоторых обстоятельствах вы можете позволить себе этот способ. Например, если ваш сайт представляет собой визитку или лендинг с несколькими страницами и информацией о компании.

То же касается и программ-генераторов (как правило, платных). Вы просто создаете необновляемый файл в формате xml и загружаете его на хост с помощью FTP или файлового менеджера. В теории, конечно, можно довести этот способ до ума, сделав его полуавтоматическим. Но в том нет нужды, потому как с помощью специальных расширений можно создать динамическую карту сайта и вообще забыть о таких проблемах.

Итак, примеры онлайн-сервисов для создания сайтмап:

• XML-Sitemaps (до 500 страниц),
• Free Sitemap Generator (до 5 000 страниц),

Как это работает?

То же касается и программных продуктов. Но о них я не буду здесь рассказывать, поэтому вы можете поискать информацию об этом самостоятельно.

Здесь же отмечу, что некоторые онлайн-сервисы предлагают платный вариант использования, который заключается в неограниченном количестве страниц или доведении процесса до полуавтоматизма. Карта сайта регулярно обновляется с помощью встроенных средств таких сервисов. Вам же остается настроить автозагрузку. Я считаю, что это костыль, особенно для CMS, включая ВордПресс.

Плагины

Тут-то мы и переходим к основной части этого материала. Плагины, по моему мнению, являются наиболее предпочтительным способом создания карты sitemap. Благодаря этим замечательным расширениям вам не нужно следить за актуальностью или выгружать какие-то непонятные файлы. Нужно лишь прямо в админке нажать кнопку “Установить” – и все готово.

Плагинов, с помощью которых можно это сделать, великое множество. Ниже я приведу список самых востребованных и популярных, а также вкратце расскажу о каждом из них.

• Yoast SEO

Многофункциональный SEO-плагин, который ко всему прочему, имеет в себе еще и инструмент автоматического создания сайтмап. Он включен по умолчанию, поэтому сразу после установки вы получите готовую карту. Найти ее можно по адресу: site.ru/sitemap_index.xml. Что интересно, плагин создает отдельные sitemap для постов, рубрик, меток и архивов. Теоретически, поисковикам будет еще легче ориентироваться во всех этих элементах.

• All in One SEO Pack

Здесь также есть возможность создавать сайтмапы. Является аналогом предыдущего плагина и его прямым конкурентом. Как и в Yoast SEO, карта создается автоматически и постоянно поддерживается в актуальном состоянии.

• Google XML Sitemaps

А вот это уже специализированное решение для автоматической генерации sitemap.xml. Google Sitemaps позволит вам создать аккуратную карту сайта, которая будет поддерживаться почти всеми поисковыми системами.

Примечательно, что у этого плагина более миллиона установок. У большей части этих пользователей также установлены многофункциональные решения. Просто они отключают эти функции, отдавая предпочтение именно Google XML Sitemaps.

Данное расширение легко устанавливается и настраивается. Поддержка осуществляется уже на протяжении 9 лет, поэтому разработчикам точно можно доверять (жирный плюс к миллионным установкам). Однозначно рекомендую как один из самых лучших способов.

• XML Sitemap & Google News feeds

Два в одном. С помощью этого дополнения вы сможете создать не только xml-карту, но и дополнительный фид для Google News. Сейчас у плагина более 100 000 установок, поэтому вам тоже советую обратить на него внимание. Как и в случае с остальными вариациями, настройка воспроизводится легко.

• Google Sitemap by BestWebSoft

Набирающий популярность плагин с поддержкой русского языка. Все просто: устанавливаете его на свой ресурс с ВордПресс, после чего для всех ваших таксономий генерируются файлы в формате xml.

В каталоге плагинов можно найти еще огромное количество разных решений – хороших и не очень. В любом случае я рекомендую устанавливать на свой проект только проверенные продукты с хорошими отзывами и бэкграундом в виде времени или количества установок. При иных обстоятельствах вы рискуете потерпеть фиаско из-за некачественного продукта.

Также отмечу, что некоторые из представленных расширений требуют настройки. Учитывайте этот факт.

Вручную

Способ, который требует времени, знаний и терпения. Очень непрактичный, кстати говоря. В общем-то, вам придется разобраться с синтаксисом разметки xml, после чего поочередно вписать туда все данные своего портала. Даже если на вашем веб-ресурсе всего несколько десятков страниц, вам все равно придется попотеть, вписывая данные каждой в xml-документ. Чего уж говорить о сотнях и тысячах, когда вы просто сойдете с ума, если попытаетесь реализовать это руками.

Вам придется вручную прописывать все, начиная от url, и заканчивая любой картинкой, которая содержится в статье или на странице. Само собой, нужно будет следить за синтаксисом и правильностью заполнения таких данных. Если вы допустите какие-нибудь ошибки, поисковые системы просто не примут ваш файл. Будьте предельно аккуратны, выбирая этот способ. Скорее всего это целесообразно только для собственного развития и изучения xml-разметки, но не более того.

Что делать с картой дальше

Чтобы помочь поисковым системам найти карту вашего проекта, можно воспользоваться такими сервисами как Яндекс.Вебмастер и Search Console. В каждом из них существуют инструменты отправки сайтмап, а также данные обо всех ошибках, которые могли возникнуть в ходе его генерации. Нужно знать точную ссылку на карту, чтобы добавить ее. Как правило, она лежит прямо в корне. Поэтому для перехода к xml-файлу нужно лишь указать его название и формат.

Добавление в Яндекс.Вебмастер

Переходим в Вебмастер, после чего выбираем наш сайт (если их несколько). Далее идем во вкладку индексирование – Файлы Sitemap. Здесь-то мы и будем управлять файлами карт сайта для нашего проекта. Копируем адрес сайтмап в поле, после чего нажимаем “Добавить”.

После того как вы добавите файл в сервис, можно нажать на значок со стрелочками, чтобы поисковик приступил к чтению файла.

Search Console

Идем в консоль, после чего переходим в раздел Сканирование – файлы Sitemap. В остальном все то же самое. Добавляем файл и проверяем его на ошибки.

Заключение

Надеюсь, теперь вы поняли, что такое карта сайта и зачем она нужна. Как видите, в ее создании нет ничего сложного. Нужно лишь знать способы, с помощью которых можно реализовать это дело.

Каким именно образом генерировать сайтмап – дело ваше. Но должен заметить, что для WordPress наиболее предпочтительным способом являются плагины. Тем более что у большей части многофункциональных SEO-плагинов эта опция вшита, а какой-то СЕО-плагин все равно придется выбрать.

Sitemap крайне важен для поисковой оптимизации, и если вы хотите знать об этом больше, то я приглашаю вас на . В нем вы рассмотрите все аспекты SEO-оптимизации проектов.

На этом все, спасибо за внимание.

Карту сайта можно сравнить с оглавлением в книге, содержащим перечень всех важнейших разделов. На сайте это такой каталог, где указаны ссылки на главные разделы и страницы веб-ресурса. В целом же в сайтмап находится следующая информация:

• список URL-адресов страниц сайта в иерархическом порядке;
• формат появившегося на сайте контента: текст, видео, картинки;
• сведения о видео и изображениях, необходимые роботам для их внесения в базу данных и формирования поисковой выдачи;
• информация о приоритетности страницы;
• данные о внесении последних изменений документов и регулярности их обновлений;
• сведения про другие версии веб-страницы.

Sitemap помогает посетителям и особенно роботам поисковиков быстро определять расположение всех самых необходимых для индексации страниц, а также их важность по отношению к другим документам, частоту и время последнего изменения, при этом делать как можно меньше «лишних» переходов. Sitemap помогает системе индексировать ресурс более эффективно.

Да, на мелких сайтах к любому документу можно перейти всего в пару кликов, но вот крупные содержат по несколько тысяч страниц и структура их куда сложнее. Без Sitemap на таких ресурсах будет сложно и посетителям, и поисковым ботам.

Исходя из вышеописанного можно выделить три основных ситуации, в ходе которых возникают проблемы с индексацией ресурса и нужен сайтмап:

1. огромное число страниц;
2. сложная структура ресурса;
3. отсутствие внешних либо внутренних бэклинков на важные для индексации страницы.

Виды карт

Любой поисковик вносит страницы сайта в индекс постепенно, начиная с главной страницы и заканчивая документами с глубокой вложенностью это зависит какой имеет сайт.

TXT

Еще один метод оформления карты сайта – файл Sitemap в txt (текстовом формате). Здесь содержится перечень всех важных для индексации ссылок. А вообще данный вариант актуален для вебмастеров, которые не желают особо заморачиваться.

Да, в TXT карте можно тоже разместить 50 тысяч ссылок, но в ней нет возможности указывать дату последнего изменения и относительную приоритетность документов.

Пример

1. http://site.com/; 2. http://site.com/page1/; 3. http://site.com/page2.

Требования Яндекса и Google к картам

Я выделил 6 общих требований, которые два популярнейших поисковика выдвигают к файлу Sitemap:

1. Необходимо применять UTF-8 кодировку.
2. Лимит по количеству URL-адресов – до 50 тысяч ссылок.
3. Если размер файла превышает 10 МБ, поделите его на несколько карт и пропишите их все в файле индекса Sitemap.
4. В процессе обращения к сайтмапу сервер должен отправлять ответ 200 OK.
5. Вносите исключительно канонические УРЛы документов: не должно быть никаких идентификаторов сессий или GET-параметров.
6. Ссылки в файле должны вести на тот же домен, где располагается сама карта сайта. Казалось бы, это элементарное требование. Но на деле многие вебмастера, имеющие несколько веб-ресурсов, перенося шаблон с файлом Sitemap забывали поменять уже имеющиеся ссылки на актуальные.

Есть у поисковых систем и свои, уникальные требования.

Яндекс:

• максимально допустимый размер – 10 МБ;
• допускается применять URL-адреса с кириллическими символами.

• максимально допустимый размер файла – 50 МБ;
• работает только с латинскими символами и цифрами (кириллические домены можно перекодировать в латинские посредством Punycode).

Важно! Для уменьшения требований к пропускной способности канала применяется архиватор gzip. 10 и 50 МБ – это размеры файлов Sitemap до сжатия архиваторов, а не после.

Влияет ли карта сайта на продвижение?

Отмечу, что без сайтмапа поисковики не понизят ваш ресурс в выдаче. Поисковые системы не глупые и даже если у вас на сайте нет Sitemap, они все равно его.

Сейчас поисковые машины даже без карты сайта сканируют страницы и включают их в выдачу довольно хорошо. Да и в теории они самостоятельно должны этим заниматься, безо всякой помощи со стороны вебмастеров.

Но нередко возникают проблемы, когда роботы дают сбой и не могут просканировать все страницы. Зачастую это случается из-за:

• глубокой вложенности некоторых разделов, для перехода на которые необходимо перейти по множеству ссылок;
• динамических УРЛов.

Поэтому в интересах вебмастеров помогать поисковым системам.

Наличие карты сайта позволяет избежать данных ситуаций. Sitemap в определенной степени положительно влияет на SEO продвижение веб-ресурса, потому что делает для роботов процесс обхода и включения в поиск страниц быстрее и легче.

Еще с данным файлом у вашего ресурса уменьшается риск превратиться из первоисточника в копипаст вследствие того, что страницы попадут в индекс раньше, чем конкурентам удастся украсть контент с него и разместить у себя.

Важно! Добавляйте в Sitemap основные страницы, играющие ключевую роль в оптимизации сайта, чтобы они попали в выдачу в первую очередь. Не прописывайте в файле страницы со служебной информацией, динамическими URL, тегами и запрещенные к индексации.

Можно ли без Sitemap?

Ответ очевидный – да. Поисковики воспринимают sitemap.xml лишь в качестве рекомендации для роботов. На практике у веб-ресурсов, где нет карты сайта, Яндекс отмечает наличие возможных, а не критичных либо фатальных проблем.

Как было написано выше, поисковые роботы способны самостоятельно и эффективно индексировать ресурсы, но крупным сайтам и тем, где есть динамические УРЛы, лучше сделать Sitemap, к тому же это не займет много времени, а в дальнейшем может прилично сэкономить ваши нервы.

Как создать карту сайта?

К данному процессу нужно подойти ответственно, потому что здесь необходимо указать основные страницы, которые вы хотите видеть в поисковой выдаче.

HTML

Сайтмап в формате HTML – это прежде всего навигация по разделам сайта для пользователей. Если веб-ресурс имеет лишь несколько сотен страниц, у него простая структура и понятное меню, подключать HTML-карту необязательно.

Но когда сайт масштабный и структура довольно сложная, есть смысл создать страницу с перечнем ссылок на основные страницы.

Учитывайте нишу, к которой относится ваш ресурс и соответственно его целевую аудиторию. Если у вас посетители преимущественно пожилого возраста, карта сайта поможет им сориентироваться в сайте, так как в главном меню разобраться сложнее.

Есть множество способов, как создать Sitemap в формате HTML на движке . Лучше всего сделать это посредством плагина Hierarchical HTML Sitemap и ему подобных. Скачиваете плагин для своей , устанавливаете, а дальше активируете надстройку для установки файла. После – размещаете выданный плагином шорткод на страницу, где хотите подключить сайтмап.

Карта сайта будет доступна по адресу:

http://site.com/sitemap.html

Для других движков есть такие решения:

• Drupal – плагин Sitemap .
• Joomla! – плагин OSMap .

Тем кто пользуется OpenCart не нужно беспокоиться о создании HTML карты сайта, потому что она появляется там автоматически.

XML

Если решили создать XML карту сайта, определитесь, каким способом будете это делать:

1. Cгенерировать сайтмап при помощи движка управления ресурсом , если у него есть соответствующая встроенная функция, используя различные плагины и модули.
2. Скачать ПО-генератор. Большинство из этих программ платные, но благодаря ним вы можете с легкостью создавать XML файл как для одного, так и для нескольких ресурсов. Вот самые популярные: WonderWebWare SiteMap Generator и SiteMap XML Dynamic SiteMap Generator .
3. Скачать файл Sitemap онлайн генератором. Выбор специальных сервисов сегодня очень велик, у всех у них разные ограничения и возможности. К примеру, на сайте xml-sitemaps.com настраивается изобилие параметров карты, но разместить в ней можно максимум 500 ссылок.
4. Ручное подключение Sitemap.

С помощью генератора онлайн

Преимущество данного способа заключается в отсутствии привязки к какому-либо CMS. Онлайн генераторы позволяют создать карту сайта для веб-ресурсов на любых движках и даже на статичных HTML сайтах.

Минус же использования генераторов в том, что бесплатные сервисы сильно ограничены по количеству страниц и больше подходят, например, для сайтов-визиток, где есть несколько страниц и новые появляться уже не будут.

Если же ресурс регулярно пополняется новыми статьями, то бесплатные генераторы не подойдут. Они не обновляют Sitemap, поэтому там не будут появляться новые URL-адреса, из-за чего файл быстро станет неактуальным.

Самый популярный генератор:

Приведу пример, как создать XML карту с XML-Sitemaps.

Заходите на сайт сервиса и указываете адрес своего ресурса, кликаете на кнопку START.

Через несколько минут сайтмап в формате XML будет сгенерирован. Далее закачиваете файл на жесткий диск компьютера.

Затем нужно загрузить Sitemap в корневую папку сайта при помощи FTP-клиента, к примеру, WinSCP . Если не знаете где искать корневой каталог, введите в поиске index.html. Сюда загружаете файл.

Через программное обеспечение

Создать XML карту сайта данным способом не так уж сложно. Сейчас я покажу, как это сделать на примере программы для ПК Majento :

1. ресурс.
2. В верхней вкладке заходите в раздел «Сайты», затем кликаете «Генерировать Sitemap».
3. Сохраняете файл в.xml формате.
4. Все – карта на вашем сайте.

Посредством плагинов для CMS

Данный вариант куда удобнее, чем бесплатные генераторы онлайн. Плагины для движков управления сайтами более функциональные, позволяют изменять параметры карты сайта. А один из главных плюсов – наличие надстроек для автоматического обновления файла сразу после появления новых документов, а также уведомления о них поисковым системам.

Для сайтов на базе WordPress одним из лучших вариантов является модуль Google XML Sitemaps . Установите, а затем активируйте плагин. Далее зайдите в настройки.

В основных параметрах включите оповещения для Google, укажите адрес карты сайта в файле robots и активируйте функцию сжатия Sitemap.xml.

Перейдите в «Приоритет статьи» и отключите функцию автоматической приоритезации страниц. Потом вам нужно будет указать приоритеты публикаций самостоятельно. Загляните в раздел «Содержание Sitemap». Включите в карту сайте исключительно те типы документов, которые вы хотите проиндексировать.

Не забудьте поставить галочку напротив Include the last modification time. Так модуль покажет роботам в сайтмапе дату последнего обновления страницы, что поможет им рассчитать дату повторного обхода сайта.

Опция Change Frequencies позволяет выставить периодичность переиндексации определенных типов документов. Зачастую поисковики не следуют тегу changefreq, прописанному в файле Sitemap, потому что они самостоятельно определяют краулинговый бюджет ресурса и отталкиваются от него.

Однако плагин предоставляет возможность дополнительно настроить периодичность сканирования, но и это будет рекомендацией, а не командой.

Excluded Items позволяет удалить из sitemap.xml определенные документы либо категории.

Вкладка «Приоритеты» говорит сама за себя. Здесь указывается приоритетность страниц, значения для них выставляются от 0,1 до 1. Изначально у каждой страницы стоит значение 0,5. Выставьте наивысший приоритет самым важным для ранжирования страницам.

В конце обязательно сохраните изменения в настройках. Плагин продолжит функционировать в фоновом режиме и уже не будет необходимости в него заходить – карта сайта продолжит оставаться актуальной, так как все обновляется автоматически. Далее нужно лишь добавить файл в вебмастерские панели Яндекса и Google.

Для изображений

Поисковый гигант работает также с картами сайта, предназначенными для изображений. Благодаря ему роботы Google могут получать больше данных про изображения на сайте. Еще синтаксис помогает поисковику быстрее находить и индексировать картинки, которые ему не удалось отыскать в процессе сканирования ресурса.

Можно сделать синтаксис для картинок отдельно либо добавить его в уже созданный Sitemap. В сайтмапе для изображений, как и в стандартном, содержатся необязательные и обязательные теги XML.

К числу обязательных относятся:

• – УРЛ-адрес картинки;
• – тег, подобный , содержащий в себе адрес и другую информацию касательно изображения.

Необязательные теги следующие:

• – подпись для картинки;
• – название картинки;
• – место, где делалось фото;
• – УРЛ лицензии картинки.

Для видео

Google еще поддерживает карты сайта в формате XML, предназначенные специально для видео. Преимущества данного синтаксиса следующие:

• позволяет показать поисковикам подробное описание видеофайла;
• показывает ботам тип контента на ресурсе;
• в результатах выдачи может отображать заставку для видеоролика, что в потенциале повышает клики и переходы на сайт;
• контент можно будет найти в Google Видео .

XML карта для видео включает в себя обязательные теги:

• – содержит все данные о видеофайле;
• – в нем прописывается УРЛ страницы, где есть видео, а при наличии более одного видеофайла на странице в теге можно прописать несколько для каждой видеозаписи отдельно;
• – описание к видео, которое необходимо прописывать на основе страницы, а количество символов не должно превышать 2048;
• – адрес заставки (миниатюры) для видеофайла с допустимыми размерами от 160x90 до 1920x1080 пикселей и возможными форматами png, gif, jpg, or;
• – заголовок для видео, который нужно указать аналогично названию документа, где размещена видеозапись.

Описание и заголовок видеофайла необходимо либо экранировать, либо поместить в блок CDATA. Сгенерировать видео для sitemap.xml можно используя плагин WP Video SEO .

TXT

Необходимо создать текстовый файл в кодировке UTF-8. В нем прописывать исключительно УРЛы страниц, которые следует проиндексировать.

Где разместить карту сайта?

Файл Sitemap лучше всего размещать в корневой папке веб-ресурса. А ссылка на карту сайта размещается в . Выглядеть она должна примерно так:

Наглядно посмотреть можно в нашем примере robots.txt по ссылке

Как добавить в Яндекс Вебмастер

Сайтмап предоставляет возможность сообщить поисковой системе про актуальную структуру ресурса, поэтому его можно добавить в панель вебмастера Яндекса .

Здесь можно:

1. Загрузить карту сайта.
2. Оповестить о ее обновлении.
3. Исключить файл.

1. Выберите веб-ресурс из списка.
2. Укажите в соответствующем поле УРЛ-адрес расположения файла.
3. Кликните «Добавить».

Так вы отправите карту сайта на обработку. Поисковый бот загрузит файл не позже чем через 14 дней. Все добавляемые файлы поисковая машина обрабатывает по-отдельности. Когда файлы загрузятся, напротив каждого из них отобразится статус:

• ОК. Файл создан корректно и загружен в базу данных. Возле него будет показана дата последнего обновления. Документы, которые роботы уже проиндексировали, отобразятся в результатах выдачи не позже чем через 2 недели.
• Редирект. Адрес файла перенаправляет на другой УРЛ. В данном случае требуется удалить редирект и оповестить систему про обновление .
• Ошибка. Файл сделан некорректно. Перейдите по ссылке Ошибка , где будут описаны ее причины. Исправьте все, что требует поисковик и далее сообщите о внесении изменений.
• Не проиндексирован. Сервер отправляет HTTP-код, который отличается от 200 ОК. Зайдите в инструмент Проверка ответа сервера и вставьте полный URL расположения карты сайта, чтобы убедиться, есть ли у поискового бота доступ к ней. Если файл недоступен, свяжитесь с администратором сервера или ресурса, где он размещен.

Также убедитесь, что в robots.txt вы не применили к файлу директиву Disallow, запрещающую его индексацию.

Обновление

При внесении каких-либо изменений в карту сайта нет необходимости удалять ее, а потом опять загружать, так как боты часто проверяют сайтмап на обновления и наличие ошибок. Рекомендуется лишь кликнуть по значку ручного обновления, что позволит ботам быстрее обойти файл.

На заметку. Количество попыток ручного обновления ограничено, поэтому используйте его с умом.

1. Зайдите в панель вебмастера Google.
2. Найдите раздел «Сканирование», в нем перейдите в «Файлы Sitemap».
3. Кликните «Добавление/Проверка файла».
4. Введите адрес, по которому доступна карта сайта.
5. Кликните «Отправить».

Если вы хотите проверить Sitemap на ошибки, рядом с кнопкой «Отправить» находится «Тест» – нажмите для проверки. После проверки отобразится окно с сообщением о наличии или отсутствии ошибок.

В справке Google можно ознакомиться со списком всех возможных ошибок и вариантов их решения.

Удаление

Если у вас новый интерфейс Search Console, напишите в поддержку поисковой системы.

Но наиболее оптимальный вариант – переключиться на старую версию внизу страницы. А дальше все как и в Яндекс.Вебмастер: переходите к выбору сайта из списка и затем напротив Sitemap ставите галочку для удаления файла.

Заключение

Тщательно продумайте, какие страницы вашего веб-ресурса самые приоритетные по отношению к другим, и указывайте их в файле Sitemap. Это эффективный инструмент, грамотное применение которого поможет роботам поисковых систем быстрее обходить сайт и получать информацию о его структуре.

Use the Sitemap file to inform Yandex about the current structure of the site: specify a special directive in robots.txt or add it in Yandex.Webmaster.

With Yandex.Webmaster, you can:

Uploading Sitemap

Choose the site from the list.

Enter the file URL. For example, https://example.com/sitemap.xml .

Click the Add button.

The file is put into the processing queue. The robot will download it within two weeks. Every added file, including the ones listed in the Sitemap index file , is handled by the robot separately.

Once the file is downloaded you will see one of the statuses:

Status	Description	Note
“OK”
“Redirect”		Remove the redirect and
“Error”	File is formed incorrectly	inform the robot about the update
“Not indexed.”		Server response check
Disallow directive	Allow access to Sitemap and inform the robot about the update

Status	Description	Note
“OK”	The file is formed correctly and loaded into the robot"s database.	The date of the last download is displayed next to the file. Indexed pages appear in the search results within two weeks.
“Redirect”	The URL redirects to another address.	Remove the redirect and inform the robot about the update
“Error”	File is formed incorrectly	Click the Error link to view the details. Edit the file and inform the robot about the update
“Not indexed.”	When the robot tries to download the Sitemap file, the server returns HTTP status other than 200	Check if the file is available to the robot. To do it, use the Server response check tool. Specify the full path to the file. If the file is unavailable, contact the site or the hosting server administrator.
The access to the file is denied in robots.txt with the Disallow directive	Allow access to Sitemap and inform the robot about the update

Updating Sitemap

If you changed Sitemap file added to Yandex.Webmaster, there is no need to delete it and upload it again. The robot regularly checks the file for updates and errors.

To speed up the file indexing, click the icon. If you use the Sitemap index file , you can launch the processing of each file listed in it. The robot will download the data within two weeks. You can use this function up to 10 times for each host.

When you run out of all attempts, you will be able to try again 30 days after the first try. The exact date is shown in Yandex.Webmaster.

Removing Sitemap

Files added on the Sitemap files page can be removed from Yandex.Webmaster.If the Sitemap directive was added in the robots.txt file , delete it. After making changes, information about Sitemap disappears from the robot database and Yandex.Webmaster within a few weeks.

FAQ

Sitemap is displayed in the service as an excluded page with the “Invalid document format” status.

The Sitemap file (and other XML files) is displayed as excluded pages. This is, however, only for information purposes and doesn"t affect the site indexing or the Sitemap processing.

The Sitemap file can be displayed in a group of excluded pages if the robot tried to index it as a regular page, while the XML files aren"t indexed in the Yandex search engine and aren"t included in the search results.

The “Unknown tag” error occurred while processing Sitemap

The Sitemap file may contain only certain XML elements . If Yandex.Webmaster finds other elements in the file (for example, a reference to the mobile or multilingual version, image URLs), it displays the \"Unknown tag\" error. The robot ignores unsupported elements when processing Sitemap and takes into account the data from the supported elements. Therefore, you don"t need to change the Sitemap file.

If the file content is changed, the information in Yandex.Webmaster is updated within two weeks.

The Sitemap file has the “Not indexed” status.

The Sitemap file may be not indexed for several reasons:

The robot crawled the Sitemap file recently and didn"t process it yet. Wait for two weeks. If you use the Sitemap index file with multiple files, they may take longer to process than a single Sitemap file.

Обычно, чтобы сделать sitemap.xml, применяют один из следующих вариантов: онлайн сервисы, модули CMS, специализированные программы или вручную. Ниже мы подробно рассмотрим каждый из инструментов.

Как создать sitemap онлайн

В интернете существует масса сервисов позволяющих составить sitemap для поисковых роботов. Вот наиболее популярные из них:

Данные сервисы прекрасно работают и выполняют свои функции. Однако, как правило, на них присутствует ограничение на количество учитываемых страниц (обычно 500 штук). Кроме того, если на сайте плохая навигация и до некоторых документов довольно трудно добраться посылкам, то, вероятнее всего, эти страницы не попадут в sitemap.xml.

Как сделать sitemap.xml с помощью дополнений CMS

У большинства популярных систем администрирования есть дополнения, которые позволяют им создавать sitemap в автоматическом или в ручном режиме. Это наиболее удобный способ работы с картой сайта для больших ресурсов, с постоянно публикуемыми новыми материалами. Как показывает практика, можно найти несколько подходящих дополнений, вам останется только выбрать наиболее соответствующее вашим целям.

Например, для WordPress таким плагином является Google XML Sitemaps, а для Joomla – компонент Xmap. Кроме того, на многих движках возможность создать файл sitemap присутствует в исходной комплектации (например, 1с-Битрикс или DataLife Engine).

Как сделать sitemap с помощью Xenu

Xenu – это один из наиболее востребованных программных продуктов, созданных для SEO-специалистов . Данная программа может не только создавать sitemap для сайта, она обладает массой полезных функций – проверка битых ссылок, выявление редиректов и многое другое.

Надо отметить, что Xenu является не единственной программой, которая дает возможность составить sitemap.

Как создать sitemap для сайта вручную

Наиболее трудозатратный, но в тоже время верный способ – вручную. Его применяют, когда другие варианты не подходят. Это может быть, например, при попадании слишком большого числа ненужных страниц в карту сайта, или сайт с плохой навигацией, не использующий CMS.

После того, как сделаете sitemap.xml, обязательно проверьте получившийся файл. Это можно сделать с помощью сервиса в панели вебмастера Яндекс , который расположен по адресу