Чтобы сайт на Тильде мог участвовать в поиске ChatGPT, проверьте доступ для OAI-SearchBot и убедитесь, что нужные страницы открываются без авторизации и проверки «вы человек». Разрешать GPTBot для этого не требуется: у него другая задача. Доступ к сайту ещё не гарантирует ссылку в ответе.
Я бы начинал с конкретной страницы услуги или статьи. Главная может открываться нормально, а нужный материал быть скрытым, удалённым или недоступным внешнему роботу.
1. Откройте опубликованную страницу без входа в Тильду
Скопируйте рабочий адрес на своём домене и откройте его в приватном окне браузера. Проверьте заголовок, основной текст и контакты. Если вместо статьи появляется форма входа, ошибка или проверка доступа, сначала нужно разобраться с этим препятствием.
Ссылка из редактора или предпросмотра не заменяет опубликованный URL. Проверьте также переход на страницу из блога или раздела услуг: материал должен быть доступен посетителю по обычной ссылке.
2. Посмотрите правила в robots.txt
Введите в адресной строке https://ваш-домен.ru/robots.txt. Найдите отдельную группу User-agent: OAI-SearchBot, если она есть. Проверьте, не закрывает ли Disallow весь сайт или путь нужной страницы. Если отдельной группы нет, изучите правила для User-agent: *.
В документации OpenAI OAI-SearchBot указан как робот для поисковых функций ChatGPT. GPTBot собирает данные, которые могут использоваться для обучения моделей. Настройки этих роботов независимы.
Например, группа User-agent: OAI-SearchBot с правилом Disallow: / закрывает ему сайт. При исправлении проверьте все строки этой группы. Простое добавление Allow: / рядом с более точным запретом отдельного раздела может не дать ожидаемого результата.
3. Исправьте нужные правила в Тильде
Откройте «Настройки сайта» → «SEO» → «Редактирование robots.txt». До изменения сохраните копию действующего файла. Если выбран автоматический режим, оцените, действительно ли нужно переходить на ручной: дальше поддерживать правила придётся самостоятельно.
В ручном режиме исправьте запрет для нужного поискового робота и сохраните файл. Не удаляйте весь robots.txt ради одной строки. В нём могут быть полезные ограничения служебных страниц и ссылки на карты сайта.
В инструкции Тильды указано, что после перехода на ручное управление изменения настроек сайта и страниц больше не добавляются в robots.txt автоматически. Сразу откройте файл по публичному адресу ещё раз и проверьте сохранённую версию.
4. Проверьте защиту сайта и ответы сервера
Разрешение в robots.txt не отменяет ограничений CDN или сервиса защиты. Попросите специалиста проверить запросы OAI-SearchBot по опубликованным диапазонам IP OpenAI и посмотреть, не получает ли он ошибку доступа или страницу проверки вместо материала.
Если отдельный сервис проверки показал 403, запишите его название, время и URL. Такой результат относится к конкретному запросу. Сопоставьте его с журналом сервера или защиты, прежде чем считать, что сайт закрыт для всех нейросетей. Подмена одного User-Agent тоже не доказывает доступ настоящего робота.
5. Отдельно проверьте индексацию страницы
Посмотрите ограничения индексации в настройках страницы и её основной адрес canonical. Для рабочей статьи важно, чтобы поисковики не получали случайный запрет и не считали основной постороннюю страницу. Проверку обычного поискового индекса можно провести в кабинетах вебмастеров.
Успешная проверка в Google относится к Google. Она полезна для технического аудита, но не подтверждает посещение OAI-SearchBot. Аналогично, если ChatGPT смог открыть переданную вами ссылку, это ещё не доказательство присутствия страницы в его поисковых ответах.
Как понять, что проблема решена
Сохраните опубликованный URL, новую версию robots.txt и результат проверки доступа. Затем задайте ChatGPT вопрос по теме страницы с поиском в интернете и посмотрите источники. Отсутствие ссылки в одном ответе не позволяет определить причину: проверьте технические данные отдельно.
Для общей проверки используйте чек-лист GEO-аудита. Если нужен разбор настроек Тильды и индексации конкретных страниц, его можно начать с SEO-аудита сайта.