Robots.txt — текстовый файл в корне сайта. Он подсказывает поисковым роботам, какие разделы можно обходить, а какие лучше пропустить. Управляет обходом, но не гарантирует удаление страниц из индекса.
Robots txt нужен для управления тем, что поисковый робот сканирует на сайте. Одни разделы важны для поиска. Другие — нет. Служебные страницы, корзина, личный кабинет, параметры в URL — всё это лучше закрыть от обхода.
Robots txt это не инструмент защиты данных. Его задача — сократить лишний обход. Робот тратит меньше ресурсов на мусорные URL и быстрее добирается до полезных страниц. Поэтому robots txt в SEO тесно связан с темой краулингового бюджета.
Особенно важен файл robots для крупных сайтов и каталогов. Там легко появляются дубли, фильтры, сортировки и адреса с параметрами. Для интернет-магазинов это частая задача. Robots txt для интернет магазина обычно настраивают отдельно под структуру каталога, поиска и фильтрации.
Если вас интересует, как закрыть страницу от индексации, важно помнить: robots.txt ограничивает обход. Но исчезновение URL из поиска он не гарантирует. Для работы с индексом полезно также понимать, что такое индексация.
Robots txt простыми словами работает как набор правил для роботов. Бот приходит на сайт. Он запрашивает файл robots.txt в корне домена. Затем читает команды для своего имени или для всех роботов сразу.
Базовый синтаксис выглядит так:
User-agent: * Disallow: /admin/ Allow: /catalog/ Sitemap: https://site.ru/sitemap.xml
User-agent указывает, для какого робота действуют правила. Звёздочка означает всех роботов. Disallow запрещает обход указанного пути. Allow разрешает обход внутри ранее ограниченной зоны. Sitemap подсказывает адрес карты сайта. Если карта уже создана, её стоит связать с sitemap-xml, чтобы роботу было проще находить целевые URL.
При конфликте правил более конкретное правило имеет больший вес. Поэтому сочетание Allow и Disallow нужно проверять внимательно. Можно закрыть весь раздел /catalog/ и отдельно разрешить подпапку внутри него. На таких конфликтах часто появляются robots txt ошибки.
Что такое файл robots в практическом смысле: это обычный текстовый документ. Он лежит по адресу вида site.ru/robots.txt. Если положить его не в корень, робот его не найдёт. Пустой файл означает, что сайт открыт для обхода.
Проверить robots txt стоит после каждого изменения. Даже если вы меняли одну строку. Ошибка в синтаксисе или слишком широкое правило может перекрыть доступ к важным страницам.
Базовая последовательность такая:
Robots txt как проверить — самый практичный ответ: используйте Яндекс.Вебмастер и Google Search Console. Там можно проверить синтаксис. Там же видно, разрешён ли обход конкретной страницы.
Дополнительно просмотрите страницы, которые вы закрываете. Иногда вебмастер хочет ограничить фильтры или служебные URL, но случайно перекрывает CSS, JS или важные разделы. Более широкий аудит технических ограничений сканирования — задача уровня технического SEO.
Начните с простого. Определите, какие разделы сайта не должны тратить ресурсы робота. Обычно это административные зоны, результаты внутреннего поиска, корзина, оформление заказа, личный кабинет и технические директории CMS.
Составьте черновой robots txt пример под свою структуру:
User-agent: * Disallow: /admin/ Disallow: /search/ Disallow: /cart/ Disallow: /checkout/ Allow: / Sitemap: https://site.ru/sitemap.xml
Этот шаблон не универсален. Он показывает логику. Сначала закрывают служебные зоны. Затем проверяют, не попали ли под запрет категории, карточки товаров, статьи и другие целевые страницы.
Если сайт — каталог или e-commerce, robots txt для интернет магазина часто дополняют правилами для параметрических URL. Отдельный случай — Clean-param Яндекс. Его применяют, когда параметры создают дубли страниц: метки рекламных кампаний, сортировки. Это не замена Disallow. Это отдельный способ подсказать Яндексу, какие параметры не меняют содержание страницы.
После внедрения смотрите, как robots.txt сочетается с другими настройками сайта. Включая core web vitals и общую техническую доступность страниц для робота.
| Директива | Что делает | Когда использовать | Комментарий |
|---|---|---|---|
| User-agent | Задаёт, для какого робота действуют правила | Всегда, в начале блока | Без него набор правил может быть прочитан некорректно |
| Disallow | Запрещает обход указанного пути | Для служебных и мусорных разделов | Не гарантирует удаление страницы из индекса |
| Allow | Разрешает обход внутри ограниченного раздела | Когда нужно открыть исключение | Полезен при конфликтах общих и частных правил |
| Sitemap | Указывает путь к карте сайта | Когда карта сайта уже создана | Помогает роботу быстрее находить целевые URL |
| Clean-param | Подсказывает Яндексу, какие параметры можно не учитывать | Для дублей с параметрами, особенно в e-commerce | Актуален именно для Яндекса |
| Crawl-delay | Задаёт паузу между обращениями робота | Когда нужно снизить нагрузку на сервер | Использовать осторожно и только при понятной причине |
Самая опасная ошибка — случайно закрыть весь сайт через Disallow: / на рабочем проекте. Такое правило применяют только на этапе разработки. После запуска его обязательно убирают.
Другая частая проблема — путаница между обходом и индексацией. Вопрос «как закрыть страницу от индексации» нельзя решать только через robots.txt. Если страница уже известна поисковику или на неё ведут внешние ссылки, она может остаться в поиске даже при Disallow. Поэтому disallow и noindex одновременно — разные инструменты. Disallow ограничивает сканирование. Noindex работает на уровне самой страницы.
Есть и технические ошибки: файл лежит не в корне, забыт блок User-agent, в пути допущена опечатка, важные ресурсы закрыты по ошибке. В интернет-магазинах слишком широкие запреты перекрывают категории, карточки или изображения товаров.
Ещё одно ограничение: robots txt это открытый файл. Любой пользователь может посмотреть его по прямому URL. Поэтому он не подходит для защиты конфиденциальных данных. Если вас интересуют смежные подходы к управлению доступом роботов, сравните термин с llms-txt: это другой файл и другая задача.
Агентство «Экспертное SEO» работает на рынке с 2013 года. Опыт в SEO — 12+ лет, выполнено 200+ проектов. Работали в 10+ нишах и 10+ странах. Поэтому регулярно сталкиваемся с задачами, где robots.txt нужно адаптировать под структуру конкретного сайта, а не заполнять по шаблону.
В проектах PizzaSushiWok, Shuttle Logistic, Quke, Rexrent, Softline и Splav технические ограничения обхода рассматриваются вместе со структурой разделов, индексируемыми страницами и служебными URL. Честное ограничение здесь такое: сам по себе robots.txt не решает все SEO-задачи. Он не заменяет работу с индексацией, внутренней архитектурой и качеством сайта.
На практике больше всего вопросов вызывают различия в обработке правил разными поисковыми системами. При настройке важно проверять файл отдельно под Яндекс и отдельно под Google. Особенно если у сайта сложная структура, фильтры или параметрические страницы.
Для Яндекса часто используют Clean-param. Эта директива подсказывает, какие параметры URL не меняют содержание страницы. Актуально для каталогов, фильтров и рекламных меток. Для Google такой подход в robots.txt не даёт универсального результата. Стратегию лучше строить аккуратно, без ожидания, что одно правило сработает везде одинаково.
Важно не путать robots.txt и соседние технические сущности. Карта сайта сообщает, что стоит сканировать. Robots.txt говорит, что лучше не обходить. Эти инструменты дополняют друг друга, но не заменяют один другой.
Robots txt что это такое простыми словами: файл с подсказками для поисковых роботов. Он говорит им, какие разделы сайта можно обходить, а какие лучше пропустить. Его задача — управлять сканированием; от людей он ничего не защищает. Обычно файл robots используют, чтобы закрыть служебные страницы, внутренний поиск, корзину, личный кабинет и другие URL без поисковой ценности.
Robots txt нужен, чтобы поисковый робот не тратил время на служебные и дублирующиеся страницы. Так он быстрее находит полезные разделы сайта. Особенно это важно для проектов с фильтрами, сортировками, параметрами и большим числом технических URL. Дополнительно посмотрите связанный термин краулинговый бюджет: он помогает понять, почему даже небольшой файл robots влияет на логику обхода.
Проверить robots txt можно в браузере и в панелях вебмастеров. Сначала откройте адрес вида site.ru/robots.txt. Убедитесь, что файл доступен. Затем протестируйте важные URL в Яндекс.Вебмастере и Google Search Console. Там видно, какие страницы разрешены, а какие закрыты для обхода. Полезно также сверить карту сайта с sitemap-xml, чтобы robots.txt и карта не противоречили друг другу.
Если задача — убрать страницу из индекса, одного robots.txt может быть недостаточно. Robots.txt ограничивает обход, но не всегда исключает появление URL в поиске. Для прямого сигнала используют noindex на самой странице. Disallow и noindex одновременно — не одно и то же. Первый управляет сканированием, второй влияет на индексирование.
За основу берут простой шаблон с User-agent, Disallow для служебных разделов и Sitemap. Но любой robots txt пример нужно адаптировать под структуру конкретного сайта. Иначе есть риск случайно закрыть нужные страницы. Для каталога, блога и интернет-магазина набор правил будет разным. У них разные типы служебных URL и дублей.
Расскажите о вашем проекте — проведём бесплатный звонок-знакомство и предложим оптимальный формат.
