Kostenloses Tool
Generator für robots.txt
Legen Sie die Regeln je Crawler fest und erhalten Sie eine gültige robots.txt für das Stammverzeichnis Ihrer Website. Es wird nichts an einen Server gesendet: Alles entsteht in Ihrem Browser.
Erzeugte robots.txt
User-agent: * Disallow: