#2149: Карта сайта sitemap.xml и robots.txt публичной базы знаний

Карта сайта (sitemap.xml) сообщает поисковым системам, какие страницы публичной базы знаний нужно проиндексировать. Файл robots.txt задаёт правила обхода сайта поисковыми роботами.

Где находится sitemap.xml

Карту сайта генерирует сервис хелпцентра (helpcenter). Она доступна по адресу:

https://<ваш домен Swarmica>/robots/sitemap.xml

Хелпцентр должен быть включён и настроен — см. Конфигурация SEO-оптимизированного публичного портала базы знаний.

Что попадает в sitemap.xml

• Главная страница базы знаний /help.
• Опубликованные статьи с доступом Все. Статьи отсортированы по числу связанных заявок: самые востребованные идут первыми.
• Разделы базы знаний, в которых есть статьи из карты сайта.

Каждый язык статьи выводится отдельным адресом со ссылками hreflang на другие языковые версии. Дата lastmod соответствует дате последнего изменения статьи.

Карта сайта кэшируется, поэтому новые и изменённые статьи появляются в ней с небольшой задержкой.

Количество статей в sitemap.xml

По умолчанию в карту сайта попадают 500 статей. Количество задаётся переменной в файле /root/swarmica/.env:

# Количество опубликованных статей с доступом «Все» в /robots/sitemap.xml
NEXT_PUBLIC_SITEMAPXML_MAX_ARTICLES=500

После изменения .env перезапустите приложение:

cd /root/swarmica
docker compose down
docker compose up -d

Настройка robots.txt

Файл robots.txt находится на сервере Swarmica по пути /root/swarmica/robots.txt. По умолчанию он разрешает индексацию статей, закрывает служебные разделы и указывает адрес карты сайта:

User-Agent: *
Disallow: /attachments/
Disallow: /api/
Disallow: /category/
Disallow: /help/
# Add below line if you want your API schema to be indexed by robots
#Allow: /api/schema/doc/

sitemap: https://YOUR_SWARMICA_DOMAIN/robots/sitemap.xml

Замените YOUR_SWARMICA_DOMAIN на домен вашей базы знаний.

Если Swarmica доступна по нескольким доменным именам, укажите в файле robots.txt адрес карты сайта для каждого из них:

sitemap: https://YOUR_SWARMICA_DOMAIN1/robots/sitemap.xml
sitemap: https://YOUR_SWARMICA_DOMAIN2/robots/sitemap.xml
sitemap: https://YOUR_SWARMICA_DOMAIN3/robots/sitemap.xml

Чтобы полностью запретить индексацию базы знаний, оставьте в файле только две строки:

User-Agent: *
Disallow: /

Регистрация в поисковых системах

Чтобы ускорить индексацию, добавьте адрес карты сайта в панели вебмастера:

• Яндекс Вебмастер — раздел Индексирование → Файлы Sitemap;
• Google Search Console — раздел Файлы Sitemap.

Связанные статьи

• Настройка SEO-полей статьи (Open Graph, JSON-LD)
• Включение индексации публичного портала базы знаний для LLM (llms.txt)
• Конфигурация SEO-оптимизированного публичного портала базы знаний