Файл Robots.txt является для поискового робота своеобразной инструкцией, в которой вебмастер прописывает основные параметры и настройки для индексации сайта. Текстовый файл Robots.txt размещается в корневой директории сайта, при изменении условий поискового продвижения, а также при возникновении такой необходимости, этот документ может быть изменен вебмастером.
Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, пользовательских данных (сведения о местоположении; тип и версия ОС; тип и версия Браузера; тип устройства и разрешение его экрана; источник откуда пришел на сайт пользователь; с какого сайта или по какой рекламе; язык ОС и Браузера; какие страницы открывает и на какие кнопки нажимает пользователь; ip-адрес) в целях функционирования сайта, проведения ретаргетинга и проведения статистических исследований и обзоров. Если вы не хотите, чтобы ваши данные обрабатывались, покиньте сайт.