llms.txt и AI-боты: как проверить доступ к содержанию сайта

Вы опубликовали подробное описание продукта, а AI-ответ на вопрос покупателя ссылается на чужой сайт. В списке рекомендаций подрядчика появляется llms.txt: небольшой файл, который якобы решит проблему. Прежде чем оплачивать внедрение, нужно понять, какой сервис его использует и что именно сейчас мешает прочитать ваш материал.

Коротко: llms.txt — добровольный формат описания сайта для агентов, которые умеют им пользоваться. Он не заменяет robots.txt, карту сайта или защиту закрытых данных. Начните с доступности важных документов и назначения конкретных ботов; затем решайте, нужен ли дополнительный каталог.

Canem Errant проверяет правила доступа, видимое содержание и источники конкретного AI-ответа. Это позволяет выбрать ограниченную техническую правку. Отсутствие компании в одном ответе само по себе не доказывает блокировку или необходимость нового файла.

Что такое llms.txt и кому он может пригодиться

llms.txt содержит краткое описание проекта, пояснения и ссылки на важные документы. Агент может использовать такой обзор, чтобы найти нужную инструкцию, справочник или условия услуги. Формат особенно понятен там, где есть большая база документации и пользователь ищет точный ответ о продукте.

В актуальном предложении llms.txt v2 речь идёт о помощи агентам при работе с сайтом. Это предложение формата (proposal), а не обязательный стандарт всех AI-поисковиков. Версия обновлена 10 августа 2026 года; наличие файла у поставщика AI не доказывает, что его поисковая система использует файлы всех сайтов при ранжировании.

Markdown делает обзор удобным для чтения и обработки подходящим инструментом. Краткие описания объясняют назначение ссылок; сведения о компании и продукте помогают различать объекты. Это полезные свойства документа, но из них не следует фиксированный рост цитирования или скорость индексации.

Если материал доступен только после сложного взаимодействия с интерфейсом, каталог ссылок не создаст отсутствующий текст. Сначала нужно проверить, что получает посетитель и сервис при открытии самого документа. Базовые задачи описаны в руководстве по GEO.

Три файла с разными задачами

robots.txt сообщает поддерживающему его боту правила обращения к URL. sitemap.xml помогает обнаружить адреса. llms.txt предлагает человеку или агенту отобранный маршрут по содержанию. Один файл не отменяет правила другого.

Для Google Search, включая его генеративные функции, llms.txt не является условием присутствия. Google прямо сообщает, что Search игнорирует такие файлы. Поэтому его внедрение следует оценивать по потребности другого конкретного инструмента, а не продавать как обязательный SEO-фактор. Руководство Google для AI-поиска.

Почему «разрешить AI-ботов» — слишком широкая инструкция

Одни обращения нужны для поиска, другие — для обучения моделей, третьи возникают, когда пользователь просит открыть URL. Эти задачи нельзя объединять в одно разрешение. Важен не только текст User-Agent: правила сервера и WAF тоже могут препятствовать запросу.

OpenAI: поиск, обучение и запрос пользователя

OAI-SearchBot используется для поиска ChatGPT. GPTBot собирает материалы, которые могут использоваться для обучения моделей; эти настройки независимы. Можно разрешить поискового бота и запретить обучающего. При запрете OAI-SearchBot сайт не показывается в поисковых ответах ChatGPT, но навигационные ссылки всё ещё могут появляться.

ChatGPT-User выполняет отдельные действия пользователей. Он не определяет, может ли документ появляться в Search; для инициированных пользователем запросов правила robots.txt могут не применяться. Поэтому разрешение ChatGPT-User не заменяет решение об OAI-SearchBot. Назначение ботов OpenAI.

Anthropic и Perplexity

У Anthropic ClaudeBot связан с возможным обучением, Claude-SearchBot — с поиском, Claude-User — с чтением по поручению пользователя. Проверяйте каждую роль отдельно, сохраняя нужный публичный доступ и выбранные ограничения. Описание Anthropic.

PerplexityBot помогает поисковому обнаружению материалов. Perplexity-User обращается к сайту по запросу пользователя; поставщик отмечает, что такой fetcher обычно игнорирует robots.txt. Ни успешный запрос, ни имя бота в журнале не подтверждают рекомендацию вашего бизнеса. Документация Perplexity.

Google и Apple

GoogleOther — общий crawler для разных задач Google, например внутренних исследований. Его нельзя считать универсальным переключателем Gemini. Google-Extended — управляющий token, а не отдельный HTTP User-Agent: он касается обучения будущих Gemini и grounding в указанных Google продуктах. На включение и ранжирование в Google Search этот token не влияет. Перечень Google.

Applebot обходит сайты. Applebot-Extended сам страницы не обходит: это управление использованием уже собранных данных для обучения. Его запрет не равен исключению из поиска Apple. Справка Applebot.

Четыре шага подготовки файла

1. Проверить доступ к документам

Выберите важную услугу, описание продукта и инструкцию. Сверьте HTTP-ответ, правила robots.txt, перенаправления и видимость основного текста. Если WAF отклоняет обращение, выясните причину по журналам. Не отключайте защиту целиком ради одного имени бота: заголовок User-Agent можно подделать.

Старый файл robots.txt не обязательно ошибочен. Запрет в группе одного бота не следует автоматически переносить на все остальные группы. Cookie-баннер также не доказывает блокировку: он может управлять рекламными событиями, не скрывая публичный текст. Проверяется фактическое поведение конкретного URL.

2. Отобрать содержание и определить язык

Начните, например, с десяти документов, которые помогают понять продукт и выбрать услугу. Десять — удобный размер первой ревизии, не требование формата. Уберите дубли и устаревшие предложения, назначьте ответственного за обновление.

Язык владельца не определяет язык покупателей. Русская версия может объяснять работу с агентством, а документация продукта должна соответствовать пользователям самого продукта. Если есть несколько языков, обозначьте их в описаниях, не смешивая разные коммерческие условия.

3. Составить короткий Markdown-обзор

Ниже пример структуры с существующими RU-адресами. Это образец содержания, а не инструкция автоматически изменить файл рабочего сайта.

# Canem Errant

> Marketing agency in Vienna. Russian-language service information.

## Services
- [GEO diagnostics](https://canemerrant.com/ru/services/geo-audit/): Scope and process.

## Guides
- [GEO guide](https://canemerrant.com/ru/blog/geo-kak-popast-v-otvety-ai-poiska/): Search visibility and measurement.
- [AI visibility check](https://canemerrant.com/ru/blog/kak-proverit-vidimost-kompanii-v-ai-poiske/): Questions and observation log.

Обычный адрес — /llms.txt; v2 допускает и подкаталог, например /docs/llms.txt, для соответствующего раздела. Имя файла сохраняет расширение .txt, а содержание использует Markdown. Ссылки на Markdown-копии добавляйте лишь там, где такие копии действительно существуют и поддерживаются.

4. Проверить ссылки и стоимость поддержки

Каждая ссылка должна открывать обещанный документ. Пояснение не должно заявлять функцию продукта, которой нет в самом материале. При изменении цены, условий или интерфейса обновляются связанные копии: иначе удобный каталог распространяет устаревшие сведения.

llms-full.txt встречается как дополнительная полная текстовая выгрузка. Оцените потребность инструмента, объём, права и частоту обновления. Если потребителя нет, поддерживать ещё одну копию всей документации может быть лишней работой. Это не обязательный пропуск в поиск.

Как защитить платные и внутренние материалы

Отдельно определите, что компания публикует для покупателей и что хранит для клиентов или сотрудников. Подписные отчёты, персональные данные, внутренние исследования и сведения заказчиков не должны попадать в обзор по инерции.

robots.txt не является защитой от несанкционированного доступа. Закрытым материалам нужны авторизация и фактический контроль выдачи содержимого. Публичный список запрещённых путей может сам раскрывать их существование. Ограничения robots.txt.

Открытие маркетингового текста не означает разрешение отправлять данные посетителя в рекламные системы. Стратегия first-party data и Google Consent Mode относятся к отдельной работе с событиями и согласием. Их проверяют по используемым инструментам; добавление llms.txt само по себе ничего не доказывает о соблюдении этих требований.

Два учебных сценария

Документация B2B-продукта. Публичны возможности, интеграции и ограничения. Команда составляет обзор и проверяет, что выбранный агент находит актуальную инструкцию. Проверка включает конкретный вопрос, URL и правильность ответа. Доступный файл ещё не означает рост заявок.

Платные инженерные отчёты. Открытая часть описывает тему, метод и условия подписки; полный отчёт требует авторизации. Каталог ведёт на публичное описание. Компания отдельно решает вопрос обучения моделей и проверяет защиту содержимого. robots.txt не заменяет подписной доступ.

Это примеры принятия решения, а не клиентские кейсы с подтверждённым ростом трафика. В обоих случаях расходы включают проверку, редактуру и дальнейшую поддержку, даже если сам текстовый файл не требует платного сервиса.

Что проверить на этой неделе

1. Разобрать доступ. Зафиксировать три важных URL, назначение ботов и фактические ограничения. Исправлять только подтверждённое препятствие для нужного публичного содержания.
2. Подготовить черновик. Составить обзор документов, проверить ссылки и назвать инструмент, который будет его использовать. Если такого инструмента нет, сначала решить более очевидную проблему сайта.
3. Определить предмет проверки. Сравнить повторяемый набор вопросов до и после согласованной правки. Учесть отдельно правильность ответа, ссылку, переход и заявку; не приписывать изменение одному файлу без основания.

Частые вопросы

Чем llms.txt отличается от robots.txt?

llms.txt описывает проект и документы. robots.txt задаёт правила обхода для поддерживающих его ботов. Каталог не отменяет запрет доступа и не заменяет серверную защиту.

Обязателен ли файл для появления в ChatGPT?

Нет подтверждённого универсального требования llms.txt. Для Search OpenAI описывает OAI-SearchBot. Возможность прочитать документ и решение использовать его в ответе — разные этапы.

Нужно ли разрешать GPTBot ради поиска?

Поиск и обучение у OpenAI управляются отдельно. Решение об обучении принимайте по правам и бизнес-модели, а доступ OAI-SearchBot проверяйте для поискового использования.

Улучшает ли llms.txt SEO и заменяет ли sitemap.xml?

Google Search игнорирует llms.txt. sitemap.xml сохраняет свою задачу обнаружения URL; обычные требования доступности и содержания остаются. Поддержка каталога другим агентом оценивается отдельно.

Где размещать файл и какое нужно расширение?

Стандартный адрес — /llms.txt; актуальное предложение допускает файл в подкаталоге. Имя — llms.txt, содержание — Markdown. Важна область документов, которую он описывает.

Можно ли ссылаться на поддомены и внешние документы?

Можно включать нужные ссылки, ясно обозначив источник и назначение. Проверьте доступность и право публикации. Ссылка на внешний профиль не делает его содержимое доказанным фактом вашего сайта.

Защитит ли llms.txt изображения и отчёты от копирования?

Нет. Он не ограничивает доступ. Для закрытого содержания нужна реальная защита, для публичного — отдельное решение о правах и использовании. Не публикуйте конфиденциальные сведения в файле.

Нужно ли открывать всех ботов сразу?

Сначала определите нужную функцию и публичные документы. Правила разных поставщиков различаются; общее разрешение не является обязательным условием видимости. Проверяйте результат по конкретным обращениям и вопросам.

Для первого внешнего сигнала доступна предварительная GEO-проверка. Если нужно разобраться в повторяющейся проблеме доступа или точности ответов, обсудите GEO-диагностику с ограниченным объёмом и понятным результатом.