AI SEO-аудит: как сделать сайт видимым для ChatGPT, Perplexity и AI Overviews

Что такое AI SEO-аудит

Обычный SEO-аудит отвечает на вопрос, найдёт ли страницу поисковик. AI SEO-аудит добавляет второй вопрос: сможет ли AI-ассистент забрать её текст и сослаться на неё в ответе. У ассистентов свои роботы, свои правила доступа, свой удобный формат чтения.

В каноне нашего аудитора этому слою отведены три группы: AI (11 проверок про роботов), LLMS (15 проверок про файл для языковых моделей) и ENT (12 проверок про сущности и извлекаемость ответов). Базовые проверки AI-ботов мы уже разбирали в чек-листе технического аудита, здесь идём глубже.

Замер: как 46 сайтов встречают AI-ботов

Мы взяли 25 англоязычных SaaS-сервисов для разработчиков (Stripe, Vercel, Notion, Figma, Canva и другие) и 25 крупных рунет-сайтов. Четыре рунет-сайта не ответили скрипту из-за антибот-защиты, осталось 21. У каждого проверили robots.txt, файл /llms.txt, ответ главной страницы под user-agent GPTBot.

Вывод простой: среди западных сервисов такой файл стал нормой, в рунете он пока редкость. И почти никто не настраивает доступ осознанно: 34 сайта из 46 вообще не упоминают AI-ботов, то есть пускают их по общим правилам для всех.

Шаг 1. robots.txt: разделите обучение и поиск

У крупных AI-компаний давно не один робот, а несколько. Один собирает тексты для обучения моделей, другой строит поисковый индекс ассистента, третий приходит, когда пользователь сам просит открыть страницу. Закрыв не того, вы пропадёте из ответов ChatGPT, хотя хотели только запретить обучение.

Именно так сделали Figma и Canva: GPTBot, ClaudeBot и CCBot закрыты, а поисковые и пользовательские боты получают доступ к публичным страницам. Если вы хотите, чтобы вас цитировали, но не учились на ваших текстах, повторите эту схему. Нужна максимальная видимость — откройте всех.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
Disallow: /account/

Следите за актуальностью имён. В правилах hh.ru до сих пор есть секция для Claude-Web — этого user-agent Anthropic больше не использует, так что правило ничего не делает. Аудит ловит такие хвосты проверкой AI-010: у каждого ключевого бота должна быть явная секция с осознанной политикой.

Шаг 2. Проверьте, что бота не режет WAF

robots.txt — только просьба. Решение о доступе на деле принимает сервер, а перед ним часто стоит WAF или CDN с защитой от ботов. В нашем замере главная Canva отдаёт обычному браузеру код 200, а запросу с user-agent GPTBot — 403. Здесь это сознательная политика, но у многих сайтов так срабатывает правило по умолчанию, о котором владелец не знает.

Проверить можно одной командой: запросите главную с user-agent нужного бота и сравните код ответа с обычным. Если правила разрешают, а сервер отдаёт 403 или страницу с капчей, ассистент вас не увидит.

curl -s -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 (compatible; GPTBot/1.2; +https://openai.com/gptbot)" \
  https://example.com/

В Cloudflare за это отвечают настройки управления AI-краулерами и правила Bot Fight Mode. Если вы хотите видимости в AI-поиске, разрешите там хотя бы поисковых ботов, иначе правила для роботов не помогут. В каноне это проверка AI-007.

Шаг 3. llms.txt: файл, а не страница 404

llms.txt — markdown-файл в корне сайта, который коротко описывает проект и даёт ссылки на ключевые страницы. Формат предложил Джереми Ховард в 2024 году. Ни один крупный поисковик официально не учитывает его в ранжировании, но файл читают агенты и IDE-ассистенты, а сделать его стоит полчаса.

Самая частая ошибка из нашего замера — мнимый файл. У пяти рунет-сайтов по адресу /llms.txt открывается обычная HTML-страница с кодом 200: заглушка, главная или SPA-оболочка. Для робота это хуже, чем честный 404: он получает мусор вместо описания. Проверки LLMS-002 и LLMS-003 различают эти случаи.

• Первая строка — заголовок H1 с названием проекта, затем цитата с описанием в одно-два предложения
• Дальше разделы H2 со списками ссылок: страница и короткое пояснение через двоеточие
• Все ссылки отвечают 200, без редиректов и закрытых страниц
• Файл собирается из контента сайта при сборке, а не правится руками: так он не расходится с HTML

# App-Kit

> Бесплатные веб-инструменты: сжатие и конвертация изображений, SEO-аудит на 400 пунктов, проверка текста.

## Инструменты

- [SEO-аудит](https://app-kit.ru/tools/seo-audit): оценка сайта 0–100 и список исправлений
- [Сжатие изображений](https://app-kit.ru/tools/image-compressor): JPG и PNG в WebP или AVIF

Шаг 4. Пишите так, чтобы ответ можно было процитировать

Ассистент собирает ответ из фрагментов. Чем легче вытащить из страницы законченную мысль, тем выше шанс, что сошлются именно на вас. Группа ENT нашего канона проверяет это полуавтоматически, вот главное из неё.

• Прямой ответ в первом абзаце: что это, как сделать, какой результат
• Определения в форме «X — это…» для ключевых терминов (ENT-005)
• Таблицы сравнения и списки шагов вместо сплошного текста (ENT-006)
• Блок вопросов и ответов с реальными формулировками пользователей (ENT-007)
• Важные цифры и факты в тексте, а не на картинке или только в PDF (ENT-008, ENT-009)
• Контент в HTML при первой загрузке, без обязательного JavaScript и авторизации (AI-008)

Одинаково называйте компанию и продукт на всех страницах и во внешних профилях. Если на сайте «App-Kit», а в каталогах «AppKit» и «Апп Кит», модель может не понять, что это одна сущность.

Шаг 5. Без индекса Google и Bing AI-поиск не работает

AI Overviews строятся на обычном индексе Google: туда попадают страницы, которые обходит Googlebot. Google-Extended на это не влияет, так что запрет обучения Gemini не убирает сайт из AI Overviews. Управлять фрагментами в AI-ответах Google можно теми же директивами, что и сниппетами: nosnippet и max-snippet.

ChatGPT, по данным OpenAI, использует сторонних поставщиков поиска, и Bing среди них главный. Поэтому сайт, которого нет в Bing Webmaster Tools, рискует не попасть в ответы ChatGPT. Подключите оба кабинета, отправьте sitemap, включите IndexNow — так Bing узнаёт о новых страницах за минуты.

Чек-лист AI SEO-аудита одним списком

Для примера мы прогнали быстрый аудит по figma.com. Группа AI получила 70,5 балла из 100: провалены AI-001 и AI-003, потому что GPTBot и ClaudeBot закрыты. Группа LLMS — 0, файла нет. Для Figma закрытие обучающих ботов — сознательное решение, и аудит его не исправляет, а показывает: вы видите цену выбора и решаете сами.

Свой сайт проверьте так же: вставьте адрес в форму ниже. Аудит бесплатно пройдёт все проверки из таблицы вместе с остальным каноном и покажет, какие из них провалены и как их исправить.

Вопросы и ответы

Нужно ли блокировать GPTBot?

Только если вы не хотите, чтобы ваши тексты шли в обучение моделей OpenAI. На видимость в поиске ChatGPT это не влияет, если OAI-SearchBot и ChatGPT-User открыты.

Влияет ли llms.txt на позиции в Google?

Нет, Google не учитывает этот файл. Он нужен агентам и ассистентам, которые читают сайт напрямую, и стоит дёшево. Сломанный файл, который отдаёт HTML, хуже, чем его отсутствие.

Как попасть в AI Overviews?

Отдельной заявки нет. Страница должна быть в индексе Google, открыта для Googlebot и давать короткий прямой ответ на запрос. Блокировка Google-Extended на попадание не влияет.

Можно ли проверить всё это автоматически?

Проверки групп AI и LLMS полностью автоматические: наш SEO-аудит прогоняет их вместе с остальным каноном за минуту. Через MCP-сервер тот же аудит вызывают Claude, Cursor и VS Code прямо из чата.

Дальше: аудит и документация