igors@portfolio:~/tools$ ./robots
robots.txt ar MI robotu iestatījumiem
Atzīmējiet, kuri roboti drīkst lasīt vietni, un saņemiet gatavu robots.txt failu.
Viss notiek jūsu pārlūkā. Nekas netiek nosūtīts, kamēr paši to neizlemjat.
Failu liek vietnes saknē, lai tas atveras adresē jūsu-vietne/robots.txt. Parasti to dara tas, kas uztur vietni: WordPress — caur SEO spraudni, konstruktoros — vietnes iestatījumos. Robotu vārdi un noteikumi mainās: pārbaudiet saitēs zemāk.