Генератор robots.txtВыберите, какие страницы разрешить или запретить роботам, и скачайте готовый файл для корня сайта. Поисковые роботыПравила можно применить ко всем роботам или выбранным поисковым системам. Все роботы (*) Яндекс Google Bing Mail.ru GPTBotСвой User-agentCrawl-delay, секунд Типы страниц для запретаОтметьте разделы, которые не должны попадать в поиск. Админ-панель Авторизация Регистрация Корзина Оформление заказа Личный кабинет Результаты поиска Фильтры Сравнение Избранное API Временные файлы Кэш CGI WordPress admin WordPress includes 1С-Битрикс Загрузки Собственные правилаDisallow — по одному пути на строкуAllow — исключения из запретовЗапретить параметры URLУкажите названия через запятую.Запретить расширения файловРасширения через запятую, без точки.Clean-param для ЯндексаФормат: параметры, затем необязательный путь. Host и SitemapГлавное зеркало (Host)Sitemap — по одному URL на строку Добавить комментарий о генераторе Явно добавить Allow: / СгенерироватьСкопироватьСкачать robots.txtСбросить Готовый robots.txt