GEO: как ChatGPT, Claude и Gemini находят и читают сайты
Привет!
Раньше человек задавал вопрос поисковику и получал десять ссылок. Теперь он всё чаще спрашивает ChatGPT, Gemini, Claude, Perplexity или Copilot и получает готовый ответ. Ссылок в таком ответе две-три, а бывает, что ни одной. Иногда ассистент идёт дальше: сам открывает сайт, заполняет форму, кладёт товар в корзину. Если сайт к этому не готов, он выпадает из ответов или попадает в них с ошибками.
Статья для тех, кто ведёт блог, сайт компании или интернет-магазин и хочет понять, что со всем этим делать. Программировать для этого не нужно: код встречается только в нескольких примерах, и их можно пропустить. Внутри:
- что такое GEO и чем оно отличается от обычного SEO;
- как ассистенты находят и читают сайты, какие роботы приходят и как ими управлять;
- что проверить в Cloudflare, AWS и других CDN, в конструкторах сайтов и на Astro;
- как подготовить текст и разметку;
- как проверить, что всё работает, и какие советы не работают;
- что из этого сделано на этом самом сайте.
Как ассистент может не только читать сайт, но и действовать на нём, и как устроены покупки через ИИ, — во второй статье: «MCP и WebMCP: как ИИ-ассистенты действуют на сайтах и покупают в магазинах».
Если времени мало, начните с трёх проверок. Каждая займёт несколько минут:
- Посмотрите в панели хостинга или CDN, не блокируют ли там роботов ИИ. Где искать — в разделе о Cloudflare и других провайдерах.
- Убедитесь, что текст страниц виден без JavaScript. Как это сделать — в разделе о контенте.
- Откройте отчёты о показах в ИИ-ответах в Search Console и Bing Webmaster Tools. О них — в разделе об измерении.
Всё описано по состоянию на ноябрь 2026 года. Область меняется быстро. Там, где я опираюсь на пересказ, а не на документацию самой компании, так и написано: «по данным…», «сообщалось». Ссылки на первоисточники стоят прямо в тексте.
Что такое GEO и чем оно отличается от SEO?
SEO (Search Engine Optimization) — работа над тем, чтобы сайт находился в Google, Bing и других поисковиках. GEO (Generative Engine Optimization, «оптимизация под генеративные движки») — работа над тем, чтобы сайт находили, цитировали и правильно пересказывали ИИ-ассистенты. Генеративный движок — это любая система, которая не просто показывает список ссылок, а сама пишет ответ: AI Overviews (ИИ-сводка над результатами Google) и AI Mode (режим диалога в Google), ChatGPT с поиском, Perplexity, Copilot, Claude с веб-поиском.
Встречаются ещё два названия: AEO (Answer Engine Optimization) и LLMO (Large Language Model Optimization). По сути это то же самое. Дальше я пишу только GEO.
Главное отличие — в результате. В обычном поиске цель — попасть на первую страницу и получить клик. В ответе ассистента сайт либо упомянут как источник, либо нет. Кликают по таким ссылкам реже: человек уже получил ответ. Поэтому важна не позиция в выдаче, а то, цитируют ли вас и что о вас говорят.
При этом GEO почти целиком стоит на обычном SEO. Google в своём руководстве по оптимизации под ИИ пишет прямо: ИИ-функции поиска опираются на те же системы ранжирования и оценки качества, что и обычный поиск, и особой оптимизации не требуют. Там же перечислено, что нужно: оригинальный полезный текст, понятные заголовки, удобная для просмотра подача, а магазинам — каталог в Merchant Center и профиль компании. Официальная позиция Google: GEO и AEO — это всё то же SEO.
И всё же отдельный разговор о GEO нужен, по двум причинам.
- Роботов стало больше, и они разные. Одни собирают тексты для обучения моделей, другие работают как поиск, третьи приходят в ту секунду, когда человек что-то спросил. Обращаться с ними нужно по-разному, а обычный SEO-чек-лист об этом молчит.
- Появились агенты, которые действуют. Ассистент не только читает страницу, но и вызывает функции сайта: ищет товар, проверяет наличие, отправляет форму. Для этого появились новые протоколы, MCP и WebMCP. О них — отдельная статья.
Почему это важно именно сейчас?
Представьте магазин чая. Раньше покупатель вводил в поиск «зелёный чай сенча купить», видел десять ссылок, открывал три из них и сравнивал цены сам. Теперь он пишет ассистенту: «найди хороший зелёный чай до 15 евро с доставкой в Германию за три дня». Ассистент сам сравнивает магазины и показывает короткий список. Если на странице вашего магазина срок доставки не указан так, чтобы его могла прочитать машина, или робот ассистента не смог открыть страницу, вас в этом списке нет. Покупатель об этом даже не узнает: он не видел, что вас можно было выбрать.
С блогом то же самое. Человек спрашивает: «как настроить хуки в Claude Code». Ассистент читает несколько источников, собирает ответ и указывает, откуда что взял. Попадёте ли вы в их число, зависит от трёх вещей: нашёл ли вас поиск, смог ли робот прочитать страницу и легко ли найти на ней ответ.
В этом и смысл GEO: не дать ассистенту причины потерять вас ни на одном из этих шагов. Для этого нужно понимать, как он работает. Начнём с того, как ассистенты вообще узнают о сайтах.
Как ИИ-ассистент узнаёт о сайте?
Ассистент узнаёт о мире двумя независимыми путями. Их важно различать: управлять ими приходится по-разному.
Первый путь — обучение. Компания собирает огромный набор текстов, в том числе со страниц сайтов, и обучает на нём модель. Модель запоминает общие закономерности и факты, но не помнит адресов и не может процитировать вчерашнюю статью. Новые модели обучают раз в несколько месяцев, поэтому то, что вы напишете сегодня, попадёт в модель нескоро, а может, и никогда. Роботов, которые собирают тексты для обучения, называют обучающими (training crawlers).
Второй путь — поиск и чтение в момент вопроса. Когда ассистент не уверен в ответе или вопрос требует свежих данных, он идёт в интернет. Здесь работают роботы двух видов:
- поисковые роботы заранее обходят сайты и складывают их в индекс, как это делает обычный поисковик;
- роботы по запросу пользователя (user-initiated fetchers) приходят на страницу в ту секунду, когда человек попросил: «прочитай эту ссылку» или «загляни на сайт и расскажи».
Получается три вида гостей: обучающие роботы, поисковые и «по запросу». Цели у них разные, и решать про каждый вид можно отдельно. Поисковых почти всегда стоит пускать: без них вас нет в ответах. С обучающими выбор за вами. Многие закрывают им доступ, чтобы не отдавать тексты бесплатно. Другие пускают, чтобы модели знали о них и без поиска. Этот сайт, например, открыт для всех; почему — в разделе о том, как он устроен.
Чьим индексом пользуется каждый ассистент?
Индекс — это список страниц, по которому ищут. Откуда его берёт каждый ассистент:
| Ассистент | Откуда берёт страницы |
|---|---|
| Google AI Overviews и AI Mode | индекс обычного Google Search; страница должна быть проиндексирована и допущена к показу сниппетов, других условий нет (документация Google) |
| Gemini (приложение) | индекс Google Search; можно ли брать ваши страницы, решает токен Google-Extended (о нём ниже) |
| ChatGPT с поиском | в ответы попадают сайты, открытые для робота OAI-SearchBot (OpenAI); какую роль играет индекс Bing, компания не раскрывает |
| Perplexity | собственный индекс, который наполняет PerplexityBot (документация) |
| Claude | веб-поиск, по всем признакам, работает на Brave Search: Anthropic об этом не объявляла, но в марте 2025 года внесла Brave в официальный список подрядчиков, которым передаёт данные (Саймон Уиллисон) |
| Copilot | индекс Bing (по вторичным данным) |
| Meta AI | по сообщениям, источники для цитирования собирает робот Meta-WebIndexer |
Вывод простой. Чтобы попасть в ответы Google, нужно быть в индексе Google; в Copilot — в индексе Bing; в ChatGPT — пустить робота OAI-SearchBot. Всё это обычная гигиена сайта: карта сайта (sitemap — файл со списком всех страниц), нормальная индексация и открытый доступ роботам.
Что происходит, когда человек задаёт вопрос?
Упрощённо ассистент с поиском действует так:
- Решает, хватает ли ему собственных знаний. Если вопрос про свежие события, цены или документацию, он идёт в поиск.
- Превращает вопрос в один или несколько поисковых запросов. Обычно они длиннее и конкретнее тех, что вводит человек.
- Получает список страниц из индекса.
- Читает отобранные страницы целиком или фрагментами.
- Пишет ответ и ставит ссылки на источники, из которых взял факты.
- Если человек потом просит «открой эту ссылку», приходит робот по запросу пользователя.
На каждом шаге сайт может выпасть:
- сайта нет в индексе — он не попадёт в список на шаге 3;
- робот заблокирован — страницу не прочитают на шаге 4;
- без JavaScript страница пустая — её так и прочитают, пустой;
- ответ спрятан в середине длинного текста — его не процитируют на шаге 5.
Дальше разберём каждый из этих случаев.
Что ассистент делает со страницей, которую прочитал?
Прочитанная страница не попадает в ответ целиком. Ассистент вытаскивает из неё нужные факты и пересказывает их. Отсюда три следствия, которые полезно помнить, когда пишете текст.
- Пересказ может исказить. Если в одном месте страницы написано «доставка 4,9 евро», а в другом — «бесплатная доставка от 30 евро», и это нигде не связано, ассистент может выбрать не то. Пишите условие рядом с утверждением: «доставка 4,9 евро, а при заказе от 30 евро — бесплатно».
- Ссылку получает тот, кто сформулировал факт чётко. Если два сайта говорят одно и то же, но один сказал это одним ясным предложением, ссылку вероятнее получит он. Гарантии нет, но логика понятна: ассистенту проще взять готовую формулировку.
- Противоречия вредят. Если сайт в разных местах называет разные цены, версии или даты, ассистент выберет наугад или вовсе откажется от источника. Держите цены, сроки и версии в одном месте — это важнее любой «оптимизации».
Всё это делает сайт удобным и для людей, так что выбирать между «писать для людей» и «писать для ассистентов» не нужно.
Какие роботы приходят от ИИ и как ими управлять?
Каждый робот представляется строкой в заголовке запроса. Она называется user agent, и по ней сервер понимает, кто пришёл. robots.txt — текстовый файл в корне сайта, где для каждого user agent написано, что ему можно. Это просьба, а не защита: добросовестные роботы её выполняют, недобросовестные могут игнорировать.
Какие бывают роботы?
| Робот | Чей и зачем | Как относится к robots.txt |
|---|---|---|
| GPTBot | OpenAI, сбор текстов для обучения | соблюдает |
| OAI-SearchBot | OpenAI, поиск ChatGPT; от него зависит, попадёт ли сайт в ответы | соблюдает |
| ChatGPT-User | OpenAI, заход по просьбе пользователя | по документации OpenAI, правила robots.txt могут не применяться |
| ClaudeBot | Anthropic, сбор для обучения | соблюдает |
| Claude-SearchBot | Anthropic, поиск Claude | соблюдает |
| Claude-User | Anthropic, заход по просьбе пользователя | соблюдает |
| PerplexityBot | Perplexity, индекс поиска; для обучения базовых моделей не используется | соблюдает |
| Perplexity-User | Perplexity, заход по просьбе пользователя | по документации, как правило, игнорирует |
| Google-Extended | Google, разрешение обучать Gemini на ваших страницах и использовать их в ответах Gemini | это не робот, а только имя для правил в robots.txt: страницы обходит обычный робот Google |
| Applebot-Extended | Apple, разрешение обучать модели Apple | тоже только имя для правил; на поиск через Applebot не влияет |
| Meta-ExternalAgent | Meta, сбор текстов для обучения моделей и для продуктов Meta | соблюдает |
| Meta-ExternalFetcher | Meta, заход по просьбе пользователя | по документации, может обходить robots.txt |
| CCBot | Common Crawl — открытый архив интернета, на котором обучают многие модели | соблюдает |
Главное, что видно из таблицы: роботы «по запросу пользователя» чаще всего не обязаны слушаться robots.txt. Логика компаний понятна: человек сам попросил открыть страницу, а это почти то же самое, что открыть её в браузере. Чтобы закрыть страницу от такого захода, нужны вход по паролю или защита на сервере, а не robots.txt.
Несколько уточнений:
- Google-Extended не влияет на обычный поиск. Google пишет, что этот токен «не влияет на включение в Google Search и не является сигналом ранжирования». AI Overviews — часть Google Search, поэтому и из них он сайт не убирает. Ограничить ИИ-сводки можно только теми же правилами, что и обычные сниппеты (
nosnippet,max-snippet,noindex), а они урежут сайт и в обычной выдаче. - Anthropic соблюдает директиву
Crawl-delay(пауза между запросами робота) и не обходит капчи. - Общий запрет на обучение. Рабочая группа IETF, которая принимает стандарты интернета, готовит общий способ сказать «не обучайте на моих текстах» (AIPREF). Anthropic понимает его черновик с 30 октября 2026 года, а Google обещает поддержку в 2027 году. Пока стандарт не принят, обучающих роботов надёжнее перечислять поимённо, как в примере ниже.
- Perplexity в августе 2025 года оказался в центре скандала: Cloudflare обвинил его в скрытых роботах, которые выдавали себя за обычные браузеры, и исключил Perplexity из списка проверенных ботов. Урок общий: имя робота подделать легко, поэтому надёжная проверка опирается на адреса и подписи (о них ниже).
Как в robots.txt пустить ИИ-поиск, но закрыть обучение?
Пример ниже делит роботов на три группы. Поисковых роботов ИИ пускаем. Сборщиков текстов для обучения не пускаем. Всех остальных, включая Googlebot и Bingbot, пускаем. В блок для всех добавлена ещё строка Content-Signal, о ней — сразу после примера.
# Поисковые роботы ИИ: пусть находят сайт и ссылаются на него в ответахUser-agent: OAI-SearchBotUser-agent: Claude-SearchBotUser-agent: PerplexityBotAllow: /
# Роботы, которые собирают тексты для обучения моделей: не пускаемUser-agent: GPTBotUser-agent: ClaudeBotUser-agent: Google-ExtendedUser-agent: Applebot-ExtendedUser-agent: Meta-ExternalAgentUser-agent: CCBotDisallow: /
# Все остальные, включая Googlebot и BingbotUser-agent: *Content-Signal: search=yes, ai-input=yes, ai-train=noAllow: /
Sitemap: https://example.com/sitemap.xmlКак это читать. Несколько строк User-agent подряд образуют одну группу, и правило под ними относится ко всем перечисленным роботам. Робот ищет группу, где его имя названо точно, а если такой нет, берёт группу *. Я проверил этот файл стандартным разбором robots.txt в Python. Поисковые роботы ИИ получают доступ, обучающие — нет, Googlebot проходит по группе *. Строка Content-Signal разбор не ломает: незнакомые строки он пропускает.
Два предостережения. Первое: правила для GPTBot не касаются ChatGPT-User и OAI-SearchBot — это отдельные роботы. Второе: если закрыть OAI-SearchBot, сайт пропадёт из поиска ChatGPT. Изменения в robots.txt OpenAI подхватывает примерно за сутки.
Что такое Content Signals?
Content Signals — расширение robots.txt, которое Cloudflare предложил в сентябре 2025 года. В нём перечисляют не роботов, а то, для чего можно использовать контент. Сигналов три:
search— строить поисковый индекс и показывать ссылки и сниппеты;ai-input— давать контент ИИ в ответ на запрос, то есть использовать его как источник для ответа;ai-train— обучать и дообучать модели.
Строка Content-Signal: search=yes, ai-input=yes, ai-train=no значит: «в поиске и в ответах можно, для обучения нельзя». Пока таких сайтов немного: по данным самого Cloudflare на апрель 2026 года, сигналы объявили около 4% из двухсот тысяч самых посещаемых доменов.
У сигнала может быть и юридический вес. В ЕС директива об авторском праве (статья 4) позволяет владельцу запретить автоматический анализ своих текстов, если запрет записан в машиночитаемом виде, и такая строка, возможно, подходит. Но это вопрос к юристам. Технически сигнал остаётся просьбой: робот может его не соблюдать.
Почему robots.txt недостаточно и что ещё может мешать?
Бывает, что robots.txt написан правильно, а робот всё равно не может прочитать сайт. Причина — в защите от ботов. Её ставят CDN (сети серверов, которые отдают сайт посетителям и заодно защищают его) вроде Cloudflare и Akamai, хостинги и плагины безопасности. Если защита настроена жёстко, она не отличает вредного бота от OAI-SearchBot и не пускает обоих. Вы можете об этом и не знать: в robots.txt всё разрешено, а робот получает отказ или страницу с проверкой «я не робот».
Как проверить:
- Откройте журнал доступа (лог) сервера или панель сервиса защиты и найдите там нужного робота: приходит ли он и какой ответ получает. Ответы 403 («запрещено») и 429 («слишком много запросов») поисковому роботу — тревожный знак.
- Не верьте одному имени: представиться чужим именем может кто угодно. OpenAI и Perplexity публикуют списки адресов своих роботов, например
openai.com/searchbot.jsonиperplexity.ai/perplexitybot.json. По ним можно убедиться, что гость настоящий, и внести эти адреса в разрешённые в правилах защиты. - Не забудьте про роботов «по запросу пользователя». Если вы хотите, чтобы ассистент мог открыть страницу, на которую человек прислал ссылку, защита должна пускать и их. На robots.txt они, как мы видели, часто не смотрят, так что всё решают настройки защиты.
Что выбрать, зависит от сайта. Магазину и блогу, которые живут за счёт видимости, выгодно пускать поисковых роботов и роботов по запросу; про обучающих каждый решает сам. Сайту с платным или закрытым контентом нужно обратное, и там нужен вход по паролю, а не просьба в robots.txt. Где искать все эти переключатели у Cloudflare и других провайдеров — в следующем разделе.
Что можно настроить в Cloudflare и у других провайдеров?
Между ИИ-роботами и вашим сайтом почти всегда стоит кто-то ещё: CDN, хостинг или конструктор сайтов. Их настройки срабатывают раньше robots.txt. Они могут впустить робота или развернуть его на пороге, написать robots.txt за вас, изменить страницу по дороге к читателю и показать, кто приходил. Достаточно одного забытого переключателя, чтобы сайт выпал из ответов ИИ, и на самом сайте этого видно не будет.
Ниже — состояние на 12 ноября 2026 года. Подробнее всего — про Cloudflare: на нём работает этот сайт, и я прошёл все нужные экраны его панели на бесплатном тарифе. Про другие CDN, облака и конструкторы рассказываю по их документации.
Где в Cloudflare настройки для ИИ?
В панели домена для них три места:
- AI Crawl Control — отдельный пункт меню: список ИИ-роботов с переключателем блокировки у каждого, статистика их визитов и состояние robots.txt;
- Agent Readiness — следующий пункт: проверка, готов ли сайт к агентам, а также Markdown for Agents и WebMCP;
- Security → Settings, группа «Bot traffic»: главные политики доступа, Bot Fight Mode и AI Labyrinth.
Почти всё это работает на бесплатном тарифе; исключения названы там, где они встречаются.
Кого Cloudflare пускает?
Главный переключатель — AI Crawler and Agent access policies (Security → Settings, фильтр «Bot traffic»). В старых инструкциях он называется «Configure AI bot policies» или «Block AI bots». Роботы в нём разделены на три группы по тому, что они делают:
- Search — роботы, которые индексируют сайт, чтобы потом отвечать на вопросы о нём;
- Training — сборщики текстов для обучения моделей, в том числе смешанные, которые служат и поиску, и обучению;
- Agents — те, кто действует от имени человека прямо сейчас: открывают страницу из чата или работают в браузере.
Для каждой группы выбирают: пускать, блокировать везде или блокировать только на страницах с рекламой. У Training есть ещё вариант Disallow. Он работает только вместе с синхронизацией robots.txt (Bot Preference Sync, о ней чуть ниже), так что включайте их вместе. Тогда Cloudflare запишет запрет на обучение в robots.txt и вдобавок заблокирует обучающих роботов у себя, ещё до сайта. Смешанных роботов вроде Googlebot, Bingbot и Applebot эта блокировка не касается, чтобы сайт не выпал из обычного поиска. Одна оговорка из анонса Cloudflare: Bing пока не понимает этот запрет в robots.txt, поддержку Microsoft обещает к началу 2027 года. До тех пор закрыть обучение для Bing можно его собственным метатегом NOARCHIVE.
В группе Agents есть отдельный список персональных агентов — помощников, которые работают на одного конкретного человека: Claude Duet (Anthropic), dots (OpenAI), Gemini Spark (Google) и Muse (Meta). По умолчанию они следуют политике Agents, но каждому можно задать свою. Cloudflare советует их пускать.
Проверьте этот переключатель, даже если никогда его не трогали. У новых доменов всё разрешено. Но если при подключении вы сказали, что сайт зарабатывает на рекламе, обучение будет запрещено, а агенты — заблокированы на страницах с рекламой. А тем, кто раньше включал «Block AI bots», Cloudflare в сентябре 2026 года сам поменял настройки: поиск разрешён, обучение запрещено, агенты на страницах с рекламой блокируются.
Рядом с политиками есть ещё три настройки, которые решают, кто войдёт:
- Bot Fight Mode проверяет всех подозрительных ботов на домене, и на бесплатном тарифе для него нельзя сделать исключение. Если вы хотите, чтобы до вас доходили ИИ-агенты и MCP-клиенты (о них — в статье про MCP и WebMCP), держите его выключенным. На платных тарифах вместо него есть Super Bot Fight Mode: там действие выбирают для каждого класса ботов и можно делать исключения.
- Browser Integrity Check отсекает запросы с отсутствующими или подозрительными заголовками. На этом сайте он включён и не мешает: все ИИ-роботы, которых я пробовал, и даже запрос совсем без user agent получили страницу.
- AI Labyrinth добавляет на страницы невидимые людям ссылки с пометкой nofollow («не переходить»), которые ведут в лабиринт сгенерированных страниц. Честные роботы по таким ссылкам не ходят, так что ловушка ловит только тех, кто правила игнорирует.
Список отдельных роботов — в AI Crawl Control → Security: у каждого указаны компания, категория и переключатель блокировки. Кроме «пустить» и «заблокировать», там есть третье действие — Charge, плата за каждую страницу (Pay per crawl). Робот, который не заплатил, получает ответ 402 («требуется оплата») с ценой. Пока это закрытая бета.
Как Cloudflare отличает настоящего робота от того, кто назвался его именем? По адресам, с которых робот приходит, и по Web Bot Auth — цифровой подписи запросов. Агент подписывает каждый запрос своим закрытым ключом, а открытый ключ публикует у себя на сайте. Cloudflare сверяет подпись с этим ключом. Имя подделать легко, а подпись без закрытого ключа — нельзя. С июля 2026 года Cloudflare считает агентов с верной подписью проверенными ботами. Технически это стандарт RFC 9421 с ключами Ed25519.
Что Cloudflare пишет в robots.txt?
Bot Preference Sync (раньше называлась «Managed robots.txt») переносит ваши политики в robots.txt. В начало файла она ставит свой блок: запрет для роботов из заблокированных групп и строку Content-Signal с пояснением. Ваши собственные строки остаются ниже, а если robots.txt не было, она его создаст. Важная деталь: блок появляется, только если хотя бы одна политика что-то запрещает. Если разрешено всё, файл остаётся как есть, без сигналов, и строку Content-Signal придётся написать самому. У новых доменов синхронизация включена, у старых её включают в том же окне, что и политики.
Проверить результат можно на вкладке Signals в AI Crawl Control. Там видно, отвечает ли robots.txt, есть ли в нём Content Signals и какие ИИ-роботы заходили туда, куда robots.txt не пускает.
Что Cloudflare показывает об ИИ-трафике?
- Overview и Metrics в AI Crawl Control: сколько запросов сделал каждый робот и каждая компания, какие ответы они получили и какие страницы запрашивали чаще всего.
- Optimization: сколько раз страницы забирали для ответов, что ассистенты пытались открыть, но не смогли, и чьи ассистенты приходят чаще.
- Security → Analytics → Events: кого заблокировали или проверили и каким правилом. На бесплатном тарифе это выборка, но её хватает, чтобы найти робота, которого разворачивают.
Для примера — неделя этого сайта в ноябре 2026 года. ИИ-роботы сделали около 4000 запросов: примерно 2500 получили страницу, 844 — перенаправление, 416 — «не найдено» и только один — отказ. «Не найдено» получали в основном угаданные адреса вроде /sitemap.xml и запросы к файлам /.env с паролями — скорее всего, от сканеров уязвимостей под чужими именами. Чаще всех страницы для ответов забирал Perplexity, за ним шли OpenAI, Apple и Anthropic.
Как Cloudflare помогает агентам читать сайт и пользоваться им?
- Markdown for Agents (тарифы Pro и выше): Cloudflare на лету переводит страницу в markdown для агентов, которые его просят. Подробнее — в разделе про llms.txt.
- Agent Readiness → Diagnostics проверяет сайт примерно по двадцати признакам: от robots.txt и карты сайта до карточки MCP-сервера и WebMCP. Для каждой непройденной проверки панель объясняет, что не так, и даёт готовое задание для ИИ-помощника программиста. Не всё из списка нужно каждому сайту, а llms.txt эта проверка не смотрит.
- WebMCP (бета): Cloudflare сам добавляет на страницы готовые инструменты для агентов в браузере — например, открывает им инструменты вашего MCP-сервера. Что это такое — в статье про MCP и WebMCP. Если сайт регистрирует такие инструменты сам, как этот, не включайте: агент увидит их дважды.
- AI Search: Cloudflare индексирует сайт и даёт поиск по нему вместе со своим MCP-сервером — готовая замена собственному серверу.
- Crawler Hints (Caching → Configuration, бесплатно): когда страница меняется, Cloudflare сам сообщает об этом Bing, Яндексу и другим поисковикам, которые поддерживают протокол IndexNow. Bing узнаёт о новых страницах быстрее, а по индексу Bing отвечает Copilot.
Какие настройки Cloudflare тихо портят страницы для ИИ?
Некоторые настройки никого не блокируют, но меняют страницу по дороге.
- Email Address Obfuscation (Security → Settings, группа «Client side abuse») прячет адреса почты от спамеров. Cloudflare заменяет каждый адрес в HTML заглушкой «[email protected]», а скрипт в браузере потом возвращает адрес на место. Робот скриптов не запускает и видит заглушку. Ловушка в том, что настройка находит адреса и в примерах кода. На этом сайте она была включена, и проверка 12 ноября 2026 года нашла по 32 замены на каждом языке, 30 из них — в примерах кода. Модель, читавшая такую страницу, получала сломанный код. Настройку выключили. Если на сайте нет настоящих адресов, которые нужно прятать, выключите её и вы; если есть — исключите страницы с кодом отдельным правилом (configuration rule).
- Rocket Loader меняет порядок загрузки скриптов. Если текст страницы виден без JavaScript, роботы ничего не теряют; если контент рисуют скрипты, что-то может сломаться.
- Under Attack mode показывает проверку всем, роботам тоже. Включайте его только во время настоящей атаки и не забудьте выключить.
Что предлагают другие CDN и облака?
Принцип везде один: провайдер может остановить ИИ-робота раньше, чем дело дойдёт до robots.txt, а некоторые переключатели блокируют больше, чем обещает их название.
- Vercel. В Security → Firewall → Rules есть набор правил AI Bots для ИИ-краулеров и ИИ-ассистентов, с действием «записать» или «запретить»; работает он, только если его включить. Рядом — Bot Protection, проверка JavaScript для всего, что не браузер. Проверенных ботов она пропускает, но запрет в AI Bots сильнее.
- Netlify. Готовых правил для ИИ нет: роботов блокируют по имени расширением User Agent Blocker или своей функцией на стороне CDN. Netlify сам предупреждает, что робот может назваться чужим именем.
- Fastly. AI Bot Management различает ИИ-краулеров и роботов по запросу, проверенных и подозрительных, и позволяет их блокировать, пропускать или перехватывать.
- Akamai. Bot & Agent Control делит ИИ-роботов на обучающих, поисковых и агентов, у каждой группы своя политика. Подписи Web Bot Auth проверяются.
- AWS. Здесь самая большая ловушка. Если включить в AWS WAF (веб-файрволе Amazon) группу правил Bot Control и не перевести её правило CategoryAI в режим Count («только считать»), оно заблокирует всех ИИ-роботов, даже проверенных. Исключения делают отдельным правилом после Bot Control, а агент с верной подписью Web Bot Auth проходит мимо этих правил.
- Google Cloud. В Cloud Armor правил для ИИ-роботов нет; агентами занимается Cloud Fraud Defense, преемник reCAPTCHA. У Firebase Hosting и Cloud CDN ничего подобного нет.
- Azure. Bot Manager в WAF для Front Door (тариф Premium) знает только хороших, плохих и неизвестных ботов, отдельной категории для ИИ нет. Неизвестных он по умолчанию только записывает в журнал. Но если неизвестным ботам назначена проверка JavaScript, ИИ-агенты на ней и остановятся.
А если сайт сделан на конструкторе?
Возможностей здесь меньше, зато переключатели проще найти.
- WordPress.com. «Prevent third-party sharing» в Settings → Reading запрещает известных ИИ-роботов в robots.txt. Это про обучение, обычный поиск он не трогает. Не путайте его с «Discourage search engines from indexing this site»: тот прячет сайт и от обычного поиска. На своём WordPress robots.txt и llms.txt делают плагины.
- Squarespace. «Block known artificial intelligence crawlers» в Settings → Crawlers по умолчанию выключен. Он закрывает 26 ИИ-роботов, среди них GPTBot, ClaudeBot и Google-Extended, и обычный поиск не трогает. Инструмент AI Visibility показывает, как часто ассистенты упоминают сайт.
- Wix. Отдельного переключателя нет: роботов закрывают в редакторе robots.txt (SEO & GEO → Tools and settings). llms.txt создаётся сам на платных тарифах с подключённым доменом, а у каждого сайта, по словам Wix, есть свой MCP-сервер для агентов.
- Webflow. В Site settings → SEO → Indexing есть переключатели для поисковых роботов и для ИИ-роботов, по умолчанию оба разрешают доступ. Есть и редактор robots.txt, в документации к которому описана строка
Content-Signal. llms.txt загружают файлом. - Shopify. robots.txt правят через шаблон
robots.txt.liquid, отдельного переключателя для ИИ нет. Важнее другое — Agentic Storefronts: Shopify сам выгружает каталог в ChatGPT, Perplexity и Copilot, каждый канал включается отдельно. Запрет ИИ-роботов в robots.txt эту выгрузку не останавливает. Есть у витрин Shopify и инструменты WebMCP. - Tilda. robots.txt править нельзя. llms.txt и llms-full.txt можно загрузить в SEO-настройках сайта.
Что посмотреть, если сайт на AWS?
На AWS сайт обычно стоит за CloudFront — CDN от Amazon, а файлы лежат в бакете S3 или на Amplify Hosting. Сам AWS роботов не блокирует, но заблокировать их по ошибке здесь легко. Что проверить:
- Веб-файрвол. Если в AWS WAF включена группа правил Bot Control, её правило CategoryAI блокирует всех ИИ-роботов, кроме агентов с верной подписью Web Bot Auth (подробнее — выше, в списке провайдеров). Переведите это правило в режим Count или добавьте после Bot Control своё правило, которое пропускает нужных роботов по меткам.
- Страницы в папках. CloudFront сам подставляет
index.htmlтолько для корня сайта. На адрес вида/blog/post/закрытый бакет S3 ответит ошибкой 403, и робот увидит её вместо статьи. Нужна небольшая CloudFront Function, которая дописываетindex.htmlк таким адресам. - Честный ответ 404. Для одностраничных приложений часто советуют отдавать на любые 403 и 404 главную страницу с кодом 200. Роботам так хуже: каждый несуществующий адрес выглядит настоящей страницей с одним и тем же текстом. Если сайт не одностраничное приложение, отдавайте настоящую страницу 404.
- Служебные файлы. robots.txt, карта сайта и llms.txt лежат в корне и отдаются как текст или XML. После правки robots.txt сбросьте кэш CloudFront (invalidation), иначе роботы ещё долго будут получать старую версию.
- Заголовки. Заголовки вроде
Link(ссылка на llms.txt с главной) илиX-Robots-Tagв CloudFront добавляет политика заголовков ответа (response headers policy). - Кто приходит. Общую картину по ИИ-роботам показывает AI Activity Dashboard, подробности — журналы CloudFront и WAF.
Остальное — текст в HTML, разметка, llms.txt — от хостинга не зависит и делается так же, как описано в этой статье.
А если сайт собран на Astro или похожем генераторе?
Генераторы статических сайтов — Astro, Hugo, Eleventy, Next.js в режиме статического экспорта — уже отдают готовый HTML, и это главное. Остальное настраивается в проекте один раз. На примере Astro, на котором сделан этот сайт:
- Текст в HTML. Astro собирает страницы в готовый HTML. Исключение — компоненты с
client:only: на сервере они не рисуются вовсе, и их текст робот не увидит. Важное в них не держите. - Адрес сайта и карта. Укажите
siteв конфигурации: от него строятся полные адреса, канонические ссылки и карта сайта. Интеграция@astrojs/sitemapкладёт карту по адресу/sitemap-index.xml, а не/sitemap.xml, поэтому впишите её в robots.txt. - robots.txt. Положите его в папку
public/или генерируйте при сборке; в нём строкаSitemapи, если нужно,Content-Signal. - Языки. У каждого языка свой адрес (в Astro есть встроенная маршрутизация по языкам), а ссылки на версии на других языках (
hreflang) выводит общий шаблон страницы. - Разметка и даты. JSON-LD удобно собирать в общем шаблоне из frontmatter статьи — заголовка, автора, дат публикации и правки. Тогда разметка всегда совпадает со страницей.
- llms.txt и markdown-копии. Их можно строить из той же коллекции статей небольшими эндпоинтами вроде
src/pages/llms.txt.ts: при сборке Astro превращает их в обычные файлы. - Перенаправления и заголовки — на стороне хостинга. Перенаправления из конфигурации Astro в статической сборке становятся страницами с мгновенным переходом, а не настоящим ответом 301. Настоящий 301 и заголовки вроде
Linkзадают файлы хостинга:_redirectsи_headersу Cloudflare Pages и Netlify,vercel.jsonу Vercel. Так сделано и здесь: когда эта статья сменила адрес, старый закрыли строкой в_redirects.
Что проверить в первую очередь?
- Кого разворачивают. Откройте статистику провайдера по ИИ-роботам и посмотрите, какие ответы получают поисковые роботы и агенты. Ответы 403, 429 или страница проверки значат, что их блокирует какой-то переключатель.
- Все места, где робота могут остановить: политика провайдера для ИИ, защита от ботов, правила веб-файрвола (WAF), переключатель конструктора и сам robots.txt. Они работают независимо, и остановить робота может любой из них.
- Что меняет страницу по дороге: скрытие адресов почты, загрузчики скриптов, страницы проверки.
- Ваши пожелания, записанные явно: robots.txt со строкой
Content-Signal— вручную или силами провайдера. - То же самое через месяц. Провайдеры меняют настройки по умолчанию; Cloudflare, например, сделал это в сентябре 2026 года.
Как сделать контент понятным для ИИ?
Здесь нет магии: ассистент читает страницу так же, как человек, только без картинок, и вытаскивает из неё факты. Всё, что мешает вытащить факт, снижает шанс, что вас процитируют.
Нужен ли серверный рендеринг?
Да. Многие сайты сегодня приходят в браузер почти пустыми, а весь текст на странице рисует JavaScript уже на месте. Робот Google умеет выполнять этот код, а большинство ИИ-роботов — нет: так показало исследование Vercel и MERJ (декабрь 2024 года). С тех пор что-то могло измениться, но совет всё равно безопасный и дешёвый: пусть текст страницы приходит готовым HTML, ещё до запуска скриптов. Это и называют серверным рендерингом.
Проверить просто. Скачайте страницу командой curl или откройте в браузере «Просмотр кода страницы» и поищите там свой текст. Если его нет, ассистент его, скорее всего, тоже не увидит.
Блог на Astro, как этот, и так отдаёт готовый HTML. В интернет-магазине стоит проверить именно карточку товара: цена, наличие и описание должны быть в исходном HTML, а не подгружаться отдельным запросом.
Как писать, чтобы цитировали?
Правила, которые следуют из того, как ассистент работает с текстом:
- Ответ в начале. Если заголовок — вопрос, то первое предложение под ним должно на него отвечать. Подробности и оговорки — потом.
- Один раздел — одна тема. Ассистент часто берёт не всю страницу, а фрагмент. Фрагмент должен быть понятен сам по себе: не «как мы говорили выше», а с названием предмета.
- Конкретика. Цифры, даты, версии, имена, определения. Расплывчатое «многие считают» не цитируют.
- Таблицы и списки для сравнений. Их легко разбирать и ассистенту, и человеку.
- Свежесть. У страницы должна быть видимая дата, а в разметке (о ней ниже) — даты публикации и правки,
datePublishedиdateModified. Когда вопрос про текущее положение дел, ассистенты ищут свежее.
Google добавляет к этому предостережения. В том же руководстве он советует не дробить текст на мелкие куски («чанки») специально для ИИ, не делать отдельных страниц для роботов, не гнаться за llms.txt и не заказывать фальшивые упоминания на сторонних площадках. Главное — оригинальный текст для людей.
Как выглядит «ответ в начале» на примере?
Возьмём страницу о возврате товара. Слабая версия начинается так: «Мы очень ценим наших клиентов и стараемся сделать покупки максимально комфортными. Наша политика возврата разработана с учётом…» Сам срок появляется только через три абзаца. Ассистенту приходится искать факт среди вежливых слов, а если он берёт только начало страницы, то не найдёт его вовсе.
Сильная версия: «Товар можно вернуть в течение 30 дней после получения. Доставку обратно мы оплачиваем. Деньги возвращаем на карту в течение 5 рабочих дней после того, как получим посылку». Три коротких предложения, каждое можно процитировать отдельно, и в каждом есть число. Дальше можно писать подробности: как оформить возврат, какие товары не принимаются.
То же для статьи в блоге. Заголовок «Что такое MCP?» и сразу под ним: «MCP — открытый протокол, по которому ИИ-ассистент подключается к внешним сервисам». Определение стоит в первой строке, а не на третьем экране.
Как организовать заголовки и страницы?
- Формулируйте заголовки так, как человек задаёт вопрос: «Как вернуть товар?», «Сколько стоит доставка в Германию?». Ассистент превращает вопрос пользователя в поисковый запрос, и заголовок-вопрос совпадает с ним лучше, чем «Информация о доставке».
- Одна страница отвечает на один вопрос. Огромная страница «Всё о нашем магазине» хуже, чем отдельные страницы про доставку, возврат и оплату.
- У каждой страницы свой адрес и свой заголовок. Части сайта, которые подгружаются без смены адреса, ассистент не увидит как отдельные страницы.
- Связывайте страницы ссылками по смыслу: товар — с доставкой, статью — со смежной статьёй. Так связанные факты находят и люди, и роботы.
- Для сравнений и характеристик используйте таблицы. Если вы сравниваете тарифы, модели или версии, таблица понятнее абзаца.
Что показало научное исследование GEO?
Единственная известная мне работа, которая измерила, какие приёмы повышают цитируемость, — статья «GEO: Generative Engine Optimization» (Aggarwal и соавторы, arXiv 2311.09735, конференция KDD 2024). Авторы взяли набор вопросов, прогнали их через генеративный движок и смотрели, насколько заметнее становится источник в ответе, если переписать его текст разными способами. Заметность считали в условных баллах; у неизменённого текста вышло около 19,5. Главное:
- лучшие приёмы подняли заметность примерно на 40%;
- самыми полезными оказались цитаты из авторитетных источников (около 27,8 балла), статистика (25,9) и ссылки на источники (24,9);
- набивка ключевыми словами, привычная по старому SEO, по основной метрике заметность снизила — до 17,8 балла, а на Perplexity примерно на 10%;
- ссылки на источники особенно помогли сайтам, которые стояли в выдаче пятыми: их заметность выросла на 115,1%. А сайтам с первой позиции они навредили: в среднем минус 30,3%;
- эффект зависит от темы: что работает в юридических вопросах, не обязательно сработает в вопросах про историю.
Оговорка: это лабораторный опыт 2023 года на конкретных движках и вопросах, а не замер сегодняшнего ChatGPT. Но вывод совпадает со здравым смыслом: текст с цитатами, числами и источниками полезнее читателю и заметнее ассистенту, а механическая накрутка ключевых слов вредит.
Что ещё важно: сущности и языки?
Сущность (entity) — это конкретный объект: человек, компания, продукт. Ассистенту важно понять, что «Roman Kryvolapov» на сайте, в профиле на LinkedIn и в GitHub — один и тот же человек. Помогают три вещи: одинаковое написание имени везде, страница «Обо мне» с понятным описанием и поле sameAs в разметке (пример ниже) со ссылками на профили.
Языки. Если сайт на нескольких языках, у каждого языка должен быть свой адрес, а не переключение на одном и том же. У этого сайта, например, адреса вида /en/…, /uk/…, /ru/… и /bg/…. Тогда вопрос на русском приводит ассистента на русскую страницу, а на английском — на английскую.
Какая разметка schema.org нужна?
Schema.org — словарь, с помощью которого страница рассказывает о себе машинам: «это статья, её автор такой-то, опубликована тогда-то» или «это товар, он стоит столько-то и есть на складе». Чаще всего разметку записывают в формате JSON-LD — это блок JSON внутри тега script на странице.
Чтобы попасть в ИИ-ответы Google, разметка не обязательна. Но она нужна для расширенных результатов поиска — карточек с ценой, рейтингом или датой. Microsoft, по вторичным данным, считает, что разметка помогает. Одно условие Google повторяет постоянно: разметка должна совпадать с тем, что человек видит на странице. Если в разметке цена 10 евро, а на странице 12, это ошибка, которая подрывает доверие и к разметке, и к сайту.
Что разметить в блоге?
Минимум — статья и автор, связанные ссылкой через @id. Все факты об авторе лежат в одном месте, а каждая статья на него ссылается:
{ "@context": "https://schema.org", "@graph": [ { "@type": "Person", "@id": "https://example.com/#person", "name": "Jane Doe", "url": "https://example.com/about/", "sameAs": [ "https://github.com/example", "https://www.linkedin.com/in/example" ] }, { "@type": "BlogPosting", "headline": "How to brew sencha", "datePublished": "2026-11-11", "dateModified": "2026-11-11", "author": { "@id": "https://example.com/#person" }, "inLanguage": "en" } ]}Это сокращённая форма. Поле sameAs перечисляет профили, которые подтверждают, что это один человек (та самая «сущность»). Помните, что datePublished должна совпадать с датой, которую видит читатель, а dateModified — с настоящей датой правки.
Что разметить в интернет-магазине?
Для магазина разметка важнее, чем для блога: на ней построены Google Shopping и агентные покупки. Основной тип — Product с вложенным Offer (предложением: цена, валюта, наличие). Отдельно разметьте рейтинг, доставку и условия возврата: именно о них ассистентов спрашивают чаще всего.
Пример ниже — карточка чая. В нём стоит обратить внимание на три места: идентификаторы sku и gtin13 (по ним товар сопоставляют с каталогами), блок shippingDetails (стоимость и срок доставки) и блок hasMerchantReturnPolicy (срок и способ возврата).
{ "@context": "https://schema.org", "@type": "Product", "name": "Sencha green tea, 100 g", "sku": "TEA-001", "gtin13": "4006381333931", "brand": { "@type": "Brand", "name": "Example Tea" }, "image": ["https://shop.example.com/img/tea-001.jpg"], "description": "Japanese steamed green tea with a fresh grassy taste. Loose leaf, 100 g.", "aggregateRating": { "@type": "AggregateRating", "ratingValue": 4.7, "reviewCount": 128 }, "offers": { "@type": "Offer", "url": "https://shop.example.com/p/tea-001", "price": 12.5, "priceCurrency": "EUR", "availability": "https://schema.org/InStock", "itemCondition": "https://schema.org/NewCondition", "shippingDetails": { "@type": "OfferShippingDetails", "shippingRate": { "@type": "MonetaryAmount", "value": 4.9, "currency": "EUR" }, "shippingDestination": { "@type": "DefinedRegion", "addressCountry": "DE" }, "deliveryTime": { "@type": "ShippingDeliveryTime", "handlingTime": { "@type": "QuantitativeValue", "minValue": 0, "maxValue": 1, "unitCode": "DAY" }, "transitTime": { "@type": "QuantitativeValue", "minValue": 1, "maxValue": 3, "unitCode": "DAY" } } }, "hasMerchantReturnPolicy": { "@type": "MerchantReturnPolicy", "applicableCountry": "DE", "returnPolicyCategory": "https://schema.org/MerchantReturnFiniteReturnWindow", "merchantReturnDays": 30, "returnMethod": "https://schema.org/ReturnByMail", "returnFees": "https://schema.org/FreeReturn" } }}Как это читать. handlingTime — сколько товар собирают перед отправкой (от нуля до одного дня), transitTime — сколько он едет (от одного до трёх дней). Вместе они дают срок доставки. returnPolicyCategory с окончанием FiniteReturnWindow означает «возврат в ограниченный срок», а сам срок — в merchantReturnDays. Цена, наличие и сроки в разметке обязаны совпадать со страницей, поэтому их лучше генерировать из тех же данных, что и видимый текст, а не вести вручную в двух местах.
Если у магазина есть аккаунт в Google Merchant Center, именно он — главный источник данных для Google. Туда загружают фид — файл со всем каталогом: товарами, ценами и наличием. По нему строятся Shopping и агентные покупки. Разметка на страницах не должна противоречить фиду.
llms.txt и markdown-копии: работают ли они?
llms.txt — идея Джереми Говарда, сооснователя fast.ai и Answer.AI, от сентября 2024 года (вторая версия вышла в августе 2026-го). Он предложил класть в корень сайта файл в формате markdown с кратким описанием сайта и ссылками на самое важное. Markdown — это простой текст с лёгкой разметкой: # для заголовков, - для списков. Идея в том, чтобы дать модели «оглавление» и избавить её от разбора HTML. Подробности — на llmstxt.org.
Честный статус такой. Это не стандарт, а предложение. Google прямо говорит, что Google Search его не использует, и советует не тратить на него время ради ранжирования. Ни один из крупных вендоров не подтвердил, что учитывает llms.txt при выборе источников. Проверка Cloudflare «Agent Readiness» его тоже не смотрит.
Тогда зачем он на этом сайте? Потому что он ничего не стоит, а пригодиться может вполне конкретным читателям: агентам для программирования, которые читают документацию, и людям, которые скармливают сайт ассистенту одним файлом. Не как «фактор ранжирования», а как удобный формат. Вот несколько строк из файла этого сайта (длинные строки сокращены):
# Roman Kryvolapov
> Engineering blog: Java, Kotlin, Android, Spring, microservices, running large language models locally.
## MCP server
- [MCP endpoint](https://mcp.romankryvolapov.com/): Streamable HTTP, no authentication. Tools: `search` — full-text search over every article; …
## English
- [Claude Code Hooks](https://romankryvolapov.com/en/claude-code-hooks.md): A walkthrough of Claude Code hooks: every event, exit codes and JSON decisions, …Каждая ссылка ведёт на markdown-версию страницы. У каждой статьи сайта есть такая копия по тому же адресу с добавкой .md, например /ru/ktor-manual.md. Страница указывает на копию в своём <head> строкой <link rel="alternate" type="text/markdown">. А копия отдаётся с заголовком Link: <адрес страницы>; rel="canonical", то есть называет основной саму страницу, чтобы поисковик не посчитал копию дублем. Есть и llms-full.txt: все статьи на всех языках одним файлом, около 15 МБ.
Похожая идея есть у Cloudflare — Markdown for Agents (тарифы Pro и выше). Если агент просит страницу заголовком Accept: text/markdown, Cloudflare на лету переводит HTML в markdown. По словам Cloudflare, такой заголовок присылают, например, Claude Code и OpenCode. Агенту это выгодно: markdown в несколько раз короче HTML, а значит, дешевле. Одна тонкость: если сайт не задал свой заголовок Content-Signal, Cloudflare добавит к такому ответу разрешение на всё, включая обучение. На бесплатном тарифе то же можно сделать самому: небольшая функция на стороне CDN отвечает на такой запрос готовой .md-копией страницы.
Итог: llms.txt и markdown-копии — это удобство для агентов, а не способ подняться в выдаче. Делайте их, если это дёшево, и не ждите чуда.
Что сделать магазину по шагам?
Список упорядочен по отдаче: первые пункты нужны всем, последние можно отложить.
- Откройте доступ поисковым роботам. Проверьте CDN и веб-файрвол (WAF): они не должны блокировать
OAI-SearchBot,Claude-SearchBot,PerplexityBot,Googlebotиbingbot. Чтобы пропускать настоящих роботов, используйте опубликованные списки их адресов (они приведены в разделе о защите от ботов). - Решите про обучение. Если не хотите отдавать тексты на обучение, добавьте в robots.txt блок, как в примере выше.
- Проверьте, что карточка товара отдаёт текст без JavaScript. Цена, наличие, описание, доставка и возврат должны быть в исходном HTML.
- Разметьте товары:
Product,Offer,AggregateRating,OfferShippingDetails,MerchantReturnPolicy. Значения должны совпадать со страницей. - Заведите Google Merchant Center и профиль компании в Google (Business Profile). Фид настраивается один раз и работает сразу на несколько каналов.
- Настройте измерение (следующий раздел) и вернитесь к цифрам через месяц.
- Если хотите, чтобы агенты покупали у вас, дальше идут заявка в ChatGPT, готовые решения платформы, MCP-сервер и WebMCP. Всё это — в статье про MCP и WebMCP.
Какие ошибки магазины делают чаще всего?
- Цена и наличие подгружаются скриптом. В исходном HTML пусто, робот видит карточку без цены. Лечится серверным рендерингом или хотя бы разметкой с ключевыми данными.
- Разметка расходится со страницей. В разметке «в наличии», на странице «нет в наличии». Данные должны браться из одного источника.
- Нет сроков доставки и условий возврата ни в тексте, ни в разметке. Именно об этом покупатели чаще всего спрашивают ассистента, и магазин без ответа проигрывает тем, у кого он есть.
- Защита от ботов блокирует всех. Поисковые роботы ИИ получают проверку или отказ, и магазина нет в ответах.
- Одинаковые описания у десятков товаров. Описание, скопированное у производителя, не даёт ассистенту причины выбрать именно вашу страницу.
- Нет идентификаторов. Артикулы и штрихкоды (
sku,gtin) позволяют сопоставить товар с каталогами; без них товар труднее найти и сравнить. - Отзывам доверяют без фильтра. Любой текст пользователя в отзыве может оказаться попыткой внедрить инструкцию. Отзыв — это данные, а не команда.
А для блога и сайта компании?
Здесь список короче:
- Индексация: карта сайта, Search Console и Bing Webmaster Tools.
- Текст страниц приходит готовым HTML.
- Поисковые роботы ИИ не заблокированы ни в robots.txt, ни у провайдера.
- У статей видимая дата публикации, а у разделов — ответ в первой строке.
- В тексте есть цитаты, цифры и ссылки на первоисточники.
- В разметке есть автор (
Person) со ссылками на профили (sameAs). - Измерение настроено (о нём — следующий раздел).
Строка Content-Signal и markdown-копии страниц — по желанию. А вот на llms.txt как на фактор ранжирования силы тратить не стоит.
Как понять, что GEO работает?
Прямой счётчик цитирований пока есть только у Bing. Google показывает показы в своих ИИ-ответах, а остальное приходится собирать по косвенным признакам.
Что показывает GA4?
В Google Analytics 4 (GA4) с мая 2026 года, по вторичным данным, есть отдельный канал трафика «AI Assistants». Но он ловит не всё. Переходы из Perplexity и Claude часто попадают в «Referral» (переходы с других сайтов), из Gemini нередко приходят без адреса источника и попадают в «Direct», а клики из AI Overviews и AI Mode считаются обычным поиском Google (google / organic). Надёжнее собрать такой трафик самому: добавьте в отчёт фильтр по источнику сеанса с условием «соответствует регулярному выражению» и вставьте выражение ниже. Оно ловит переходы от основных ассистентов:
(www\.)?(chatgpt\.com|chat\.openai\.com|perplexity\.ai|claude\.ai|gemini\.google\.com|copilot\.microsoft\.com|chat\.mistral\.ai|chat\.deepseek\.com|grok\.com|meta\.ai)Это оценка снизу: переходы без адреса источника в неё не попадут. ChatGPT, по вторичным данным, сам помечает свои ссылки (utm_source=chatgpt.com), поэтому его трафик виден лучше всего.
Что показывают Search Console и Bing?
С июня 2026 года, по сообщению Google, в Search Console есть отчёты о показах в генеративных функциях: AI Overviews, AI Mode и Discover. Видны только показы, кликов там нет.
У Bing в Webmaster Tools есть отчёт AI Performance, пока в публичном тестировании (блог Bing). Он показывает, сколько раз вас процитировали, какие страницы, по каким запросам и в какие дни. Кликов тоже нет, зато это единственный открытый отчёт, который прямо говорит: «вас цитируют». Он охватывает Copilot и ИИ-сводки в Bing.
Что видно в логах сервера?
Логи показывают то, чего нет в аналитике: кто приходит и сколько раз. Роботы не запускают скрипты аналитики, но остаются в журнале доступа сервера. Эта команда считает визиты основных ИИ-роботов по журналу в формате nginx или Apache:
grep -oiE '(GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|meta-external[a-z]+|Applebot|bingbot|Googlebot)/' access.log | tr -d / | sort | uniq -c | sort -rnЧто она делает. grep -oiE вытаскивает из каждой строки только имя робота с косой чертой после него и не смотрит на регистр букв: Meta, например, пишет имена своих роботов строчными. tr -d / убирает косую черту, sort и uniq -c считают, сколько раз встретилось каждое имя, а последний sort -rn ставит самых частых наверх. На тестовом журнале со строками, которыми представляются настоящие роботы, результат был такой:
2 meta-externalagent 2 Googlebot 2 GPTBot 1 meta-externalfetcher 1 bingbot 1 PerplexityBot 1 Perplexity-User 1 OAI-SearchBot 1 ClaudeBot 1 Claude-User 1 Claude-SearchBot 1 ChatGPT-User 1 ApplebotИмя в user agent можно подделать, поэтому для серьёзных выводов сверяйте адреса с опубликованными списками (о них — в разделе о защите от ботов). Если сайт стоит за CDN, его панель покажет то же самое и без логов: у Cloudflare это AI Crawl Control, у Vercel — отчёт AI Traffic, у AWS — AI Activity Dashboard.
А можно просто спросить у самих ассистентов?
Можно, но осторожно. Задайте ChatGPT, Gemini и Perplexity пять-десять вопросов, на которые должен отвечать ваш сайт, и посмотрите, цитируют ли вас. Один замер ничего не говорит: ответы меняются от раза к разу. Повторяйте раз в месяц и записывайте результаты. Для этого есть и платные сервисы, но принцип у них тот же.
Что не работает?
Короткий список заблуждений.
- «Нужен llms.txt, чтобы ранжироваться в ИИ». Нет. Google прямо говорит, что не использует его, и ни один вендор не подтвердил обратного.
- «Надо нарезать контент на чанки и писать отдельные страницы для ИИ». Google советует этого не делать.
- «Заблокирую Google-Extended и пропаду из Google». Нет, этот запрет на обычный поиск не влияет.
- «Забью текст ключевыми словами, как раньше». В исследовании GEO это не помогло, а по основной метрике даже снизило заметность.
- «robots.txt защитит страницу от всех ассистентов». Роботы по запросу пользователя часто его игнорируют. Для настоящей закрытости нужен вход по паролю.
- «robots.txt всё разрешает, значит, любой робот пройдёт». Переключатель в CDN или защита от ботов могут развернуть робота, что бы ни было написано в robots.txt.
- «Сделаю разметку, и ассистент купит у меня». Разметка нужна, но для агентной покупки нужны ещё фид, поддерживаемые способы оплаты и, для ряда каналов, заявка и одобрение.
Как это устроено на этом сайте?
Этот сайт — блог на Astro: статические страницы на Cloudflare Pages, четыре языка (английский, украинский, русский и болгарский) и по 48 статей на каждом. Всё, что описано ниже, проверено на живом сайте в ноябре 2026 года.
- Текстовые копии. Markdown-копия есть у каждой статьи, а также у страниц «Обо мне» и политики конфиденциальности — всего 200. Есть
llms.txtс оглавлением иllms-full.txtсо всеми статьями одним файлом. - Разметка. Один граф JSON-LD: автор (
Person), сайт (WebSite), у статьи —BlogPostingс датами, хлебные крошки, у страницы «Обо мне» —ProfilePage, у контактов —ContactPage. - MCP-сервер и WebMCP. У сайта есть свой MCP-сервер и инструменты WebMCP для агентов в браузере; как они устроены — в статье про MCP и WebMCP.
- Cloudflare, бесплатный тариф. Все три политики доступа — поиск, обучение и агенты — стоят на «разрешить», персональные агенты тоже, и ни один робот не заблокирован. Обучение открыто намеренно: блогу выгодно, чтобы модели знали о нём и без поиска. Bot Fight Mode выключен: ChatGPT и Claude приходят к MCP-серверу из своих облаков, и он отрезал бы их. AI Labyrinth и WebMCP от Cloudflare тоже выключены, у сайта свои инструменты. За неделю ИИ-роботы получили ровно один отказ.
- Что изменилось после проверки 12 ноября. В robots.txt появилась строка
Content-Signal: search=yes, ai-input=yes, ai-train=yes. Главные страницы получили заголовкиLinkсо ссылками на llms.txt и карточку MCP-сервера. Адрес/sitemap.xmlтеперь ведёт на настоящую карту сайта. Email Address Obfuscation, тот самый, что портил примеры кода, выключен, а Crawler Hints включён. Agent Readiness засчитывает карточку MCP-сервера и WebMCP, но не markdown по запросу: копии лежат по своим адресам, а Markdown for Agents требует тарифа Pro.
Итоги
Главное из статьи.
- GEO — не отдельная магия, а SEO плюс управление новыми роботами. Основа та же: индексация, понятный текст, честная разметка.
- Роботы бывают трёх видов: обучающие, поисковые и «по запросу». Поисковых стоит пускать, про обучающих каждый решает сам, а от роботов «по запросу» robots.txt не защитит.
- Текст должен быть в HTML без JavaScript, с ответом в начале, цифрами, цитатами и источниками.
- Измеряйте: GA4, Search Console, Bing AI Performance и логи сервера.
С чего начать — три проверки из начала статьи: настройки ботов у провайдера, текст страниц без JavaScript и новые отчёты Search Console и Bing. Остальное можно делать постепенно.