igors@portfolio:~/tools$ ./robots
robots.txt с настройкой ИИ-ботов
Отметьте, кому из роботов можно читать сайт, и получите готовый файл robots.txt.
Всё работает в вашем браузере. Никуда ничего не отправляется, пока вы сами не решите отправить.
Файл кладут в корень сайта, чтобы он открывался по адресу ваш-сайт/robots.txt. Обычно это делает тот, кто ведёт сайт: в WordPress через SEO-плагин, в конструкторах — в настройках сайта. Имена роботов и правила меняются: проверяйте по ссылкам ниже.