Мы прогнали SEO-аудит App-Kit по 901 сайту рунета из списка Tranco top-1M и посчитали, как часто на них встречаются базовые технические ошибки. У 58 % сайтов хотя бы на одной из проверенных страниц нет canonical, у 69 % нет разметки JSON-LD, а файл llms.txt для языковых моделей есть только у 8 %.
Главное за минуту
- Чаще всего проблемы с заголовками безопасности и сниппетами: 79 % не задают CSP, 70 % не отдают HSTS, у 79 % description выходит за 50–160 символов.
- Разметка — слабое место: JSON-LD нет у 69 %, og:title и canonical — у 58 %.
- База в целом на месте: robots.txt отдают 90 % ресурсов, HTTPS есть почти у всех. Но у 30 % не отдаётся /sitemap.xml, а 20 % не делают 301-редирект с HTTP на HTTPS.
- llms.txt уже есть у 8 % сайтов, в e-commerce — у 18 %. GPTBot закрыт в robots.txt лишь у 6 %.
- Интернет-магазины размечены лучше остальных: JSON-LD нет у 49 % из них против 72–75 % у медиа и прочих сайтов.
- Чем ниже сайт в рейтинге, тем чаще не хватает разметки и canonical: canonical нет у 51 % доменов из первых 10 тысяч Tranco и у 63 % — из диапазона от 100 тысяч до миллиона.
Базовая техничка: robots.txt, sitemap, HTTPS
Фундамент у большинства сайтов есть. robots.txt не отдаётся только у 10 %, по HTTPS не работает меньше 1 %. Последнюю цифру стоит читать осторожно: она смещена отбором живых ресурсов, подробнее — в разделе о методике.
| Проверка | Доля сайтов с проблемой |
|---|---|
| Нет доступного /robots.txt | 10 % |
| Sitemap не указан в robots.txt | 32 % |
| Не отдаётся /sitemap.xml | 30 % |
| Нет 301-редиректа с HTTP на HTTPS | 20 % |
| Сайт не работает по HTTPS | 1 % |
Хуже с картой сайта. Почти у трети сайтов по адресу /sitemap.xml ничего нет, и почти столько же не указывают карту в robots.txt. Карта может лежать по другому адресу, но тогда её тем более нужно прописать в robots.txt, иначе поисковик узнает о ней только из кабинета вебмастера. Доля почти не зависит от размера: 30 % в первых 10 тысячах Tranco, 29 % в диапазоне 10–100 тысяч, 30 % ниже.
Ещё 20 % сайтов не перенаправляют HTTP на HTTPS постоянным 301-редиректом: редиректа нет совсем или он временный. В обоих случаях поисковик может держать в индексе две версии страницы.
Мета-теги и сниппеты: title, description, Open Graph
Title есть почти везде: страницы без него нашлись у 6 % выборки. Зато у 67 % хотя бы один title короче 10 или длиннее 70 символов. С description похожая картина: у 21 % на важных страницах его нет совсем, а там, где длину удалось оценить, у 79 % она выходит за 50–160 символов.
Длина — не прямой фактор ранжирования. Но длинные title и description поисковик обрезает в выдаче, а пустые и слишком короткие часто заменяет своим текстом. Учтите и строгость подсчёта: ресурс попадает в долю, если проблема есть хотя бы на одной из десяти проверенных страниц.
Open Graph заполняют реже: og:title нет у 58 %. Превью ссылки в мессенджере или соцсети для таких страниц собирается из того, что найдёт бот превью, и часто выглядит случайным. Ещё 24 % не указывают язык в <html lang>, у 14 % нет meta viewport.
Разметка и canonical
JSON-LD — самый массовый пробел после заголовков безопасности: у 69 % выборки на проверенных страницах нет структурированных данных. Поисковик не получает явных сведений об организации, товаре или статье, и расширенный сниппет становится менее вероятным.
canonical отсутствует у 58 % сайтов. Это не всегда ошибка, но без него поисковик сам выбирает основную версию страницы среди копий с UTM-метками, фильтрами и сортировкой. Картинки без alt есть у 54 %: это потерянный текст для поиска по картинкам и экранных дикторов.
Безопасность: HSTS, CSP, security.txt
70 % сайтов не отдают заголовок Strict-Transport-Security, 79 % не задают Content-Security-Policy. На позиции эти заголовки напрямую не влияют, но входят в стандартные чек-листы технического аудита: HSTS не даёт браузеру открыть страницу по незащищённому HTTP, CSP ограничивает последствия XSS-уязвимостей.
Чем ниже сайт в рейтинге, тем реже настроены заголовки: CSP нет у 69 % из первых 10 тысяч Tranco и у 87 % из диапазона от 100 тысяч до миллиона, HSTS — у 63 % и 76 % соответственно.
Файл security.txt с контактом для сообщений об уязвимостях (RFC 9116) есть у 2 %, среди первых 10 тысяч — у 8 %.
AI и LLM: llms.txt и GPTBot
Самая свежая находка исследования. llms.txt — markdown-описание сайта для языковых моделей — есть у 8 % сайтов рунета. Файл засчитывался, только если по адресу /llms.txt отдаётся непустой текст с кодом 200, а не HTML-заглушка. Все 73 найденных файла мы просмотрели вручную: 72 — настоящие, один — текстовая заглушка.
| Сегмент | llms.txt есть | GPTBot закрыт |
|---|---|---|
| E-commerce, n = 189 | 18 % | 4 % |
| Медиа, n = 158 | 9 % | 9 % |
| Прочие, n = 554 | 5 % | 6 % |
| Все сайты, n = 901 | 8 % | 6 % |
Интернет-магазины впереди: llms.txt у 18 % из них — вдвое чаще, чем у медиа, и втрое чаще, чем у прочих. Возможно, файл добавляют платформы и плагины, на которых работают магазины, но данных для такого вывода у нас нет. Верхние строчки рейтинга тоже опережают: в первых 10 тысячах Tranco llms.txt есть у 15 %, ниже — у 7 %.
Закрывают AI-ботов редко: GPTBot запрещён в robots.txt у 6 %, чаще других — у медиа (9 %). Вероятно, издатели осторожнее относятся к обучению моделей на своих текстах.
Сегменты: магазины, медиа и остальные
Сайты мы разделили на три сегмента по HTML главной страницы: e-commerce (189 сайтов), медиа (158) и прочие (554). Это грубая эвристика, а не ручная разметка, так что срезы показывают направление, а не точные цифры.
| Проблема | E-commerce | Медиа | Прочие |
|---|---|---|---|
| Нет JSON-LD | 49 % | 72 % | 75 % |
| Нет og:title | 48 % | 61 % | 60 % |
| Нет meta description | 4 % | 17 % | 28 % |
| Нет canonical | 52 % | 60 % | 59 % |
| Нет HSTS | 60 % | 75 % | 72 % |
| Нет CSP | 69 % | 79 % | 83 % |
Магазины лучше остальных почти по всем метрикам. Сильнее всего разрыв в мета-тегах и разметке: description нет только у 4 % магазинов, JSON-LD — у 49 %. Вероятно, сказываются платформы, которые собирают описания и разметку товаров из карточек. С canonical разрыв меньше: его нет у 52 % магазинов против 59–60 % у остальных.
Размер сайта: ниже в рейтинге — меньше разметки и защиты
Выборка разбита на три страты по рангу Tranco: первые 10 тысяч, от 10 до 100 тысяч и от 100 тысяч до миллиона. Почти по всем метрикам нижняя страта выглядит хуже верхней.
| Метрика | 1–10 тыс. | 10–100 тыс. | 100 тыс. – 1 млн |
|---|---|---|---|
| Нет canonical | 51 % | 56 % | 63 % |
| Нет og:title | 48 % | 56 % | 63 % |
| Нет JSON-LD | 61 % | 69 % | 72 % |
| Нет meta description | 13 % | 21 % | 24 % |
| Нет HSTS | 63 % | 67 % | 76 % |
| Нет CSP | 69 % | 76 % | 87 % |
| Есть llms.txt | 15 % | 7 % | 7 % |
Есть и исключения. Доля сайтов без /sitemap.xml одинакова во всех стратах, около 30 %. Картинки без alt в верхней страте встречаются даже чаще: 59 % против 50 % в нижней.
Верхняя страта меньше остальных (149 доменов против 381 и 371), и именно в ней чаще всего срабатывала защита от ботов: ошибка прогона у 11 %. Её цифры наименее точны.
Что сделать со своим сайтом
- Проверьте, что /robots.txt и /sitemap.xml отвечают кодом 200, а карта сайта указана в robots.txt
- Настройте постоянный 301-редирект с HTTP на HTTPS и заголовок Strict-Transport-Security
- Задайте title длиной 10–70 и description 50–160 символов на каждой важной странице
- Поставьте canonical на все индексируемые страницы, включая страницы с параметрами
- Добавьте JSON-LD: Organization на главную, Product или Article на карточки и статьи
- Заполните og:title, og:description и og:image для превью ссылок
- Укажите <html lang>, meta viewport и alt у содержательных картинок
- Выберите политику для AI-ботов в robots.txt и опубликуйте llms.txt
Все эти пункты проверяет SEO-аудит App-Kit — тот же движок, на котором собрано исследование. Вставьте адрес сайта: через полминуты увидите, какие проверки провалены и как их исправить.
Методология и ограничения
Выборка. Взяли список Tranco top-1M (list ID 262W9 от 20 октября 2026 года) и все домены в нём в зонах .ru и .рф — 36 195 доменов. Разбили их на три страты по рангу и случайно отобрали 1000 живых сайтов: 170 из первых 10 тысяч и по 415 из двух других страт.
Сбор. 21–22 октября 2026 года, движок SEO-аудита App-Kit в быстром режиме: до 10 страниц на сайт, глубина обхода 2, не чаще 1 запроса в секунду, robots.txt соблюдается. Бот представлялся как AppKitResearchBot/1.0. На 94 доменах прогон не удался: WAF, капча, запрет в robots.txt, таймауты. Ещё 5 доменов исключены, потому что вместо сайта отдавали страницу входа. В статистике — 901 сайт.
Подсчёт. Единица наблюдения — сайт, итог по сайту — худший результат среди проверенных страниц. Доля считается от тех, где проверка дала однозначный результат; доверительные интервалы — Wilson 95 %. Публикуем только метрики с покрытием от 80 % и не меньше 30 доменов в срезе. Вердикты по 6 метрикам на 21 сайте мы сверили вручную: совпали 126 из 126.
Ограничения
- Проверялся HTML, который отдаёт сервер, без выполнения JavaScript: на SPA часть тегов может появиться после рендеринга.
- Сайт может отдавать боту не ту версию, что браузеру.
- WAF, антибот-защита, сертификаты НУЦ Минцифры и запрет в robots.txt отсеяли часть ресурсов, в основном крупных. Цифры ближе к «среднему» рунету, чем к его верхушке.
- 10 страниц на сайт — не полный обход: на больших ресурсах проблемы встречаются чаще, чем видно по выборке.
- Tranco ранжирует сайты по глобальному трафику, ранги рунета в нём неточны.
- Это срез на 21–22 октября 2026 года.
Данные и цитирование
Агрегированные данные открыты по лицензии CC BY 4.0: их можно использовать в своих материалах со ссылкой на источник. Данных по отдельным сайтам в наборе нет.
По данным исследования App-Kit «SEO рунета 2026» (app-kit.ru/blog/seo-runeta-2026)
Как работал наш бот и как исключить свой сайт из следующих замеров — на странице исследования.
Присоединяйтесь к обсуждению
Комментарии в блоге App-Kit скоро появятся. Нашли неточность или есть вопрос?
Написать нам