igors@portfolio
lv

igors@portfolio:~/tools$ ./robots

robots.txt с настройкой ИИ-ботов

Отметьте, кому из роботов можно читать сайт, и получите готовый файл robots.txt.

igors@portfolio:~/tools$ ./robots

Всё работает в вашем браузере. Никуда ничего не отправляется, пока вы сами не решите отправить.

Файл кладут в корень сайта, чтобы он открывался по адресу ваш-сайт/robots.txt. Обычно это делает тот, кто ведёт сайт: в WordPress через SEO-плагин, в конструкторах — в настройках сайта. Имена роботов и правила меняются: проверяйте по ссылкам ниже.