Sperrung aller Bots
Mit User-agent: * und Disallow: / werden alle konformen Crawler von der gesamten Website ausgesperrt, nützlich für Staging-Umgebungen.
User-agent: *
Disallow: /
Robots.txt-Generator
Steuere SEO-Crawler und KI-Bots robots.txt einfach erstellen und herunterladen.
Schnellstart-Vorlagen
Regel 1
/admin/
Sitemap-URL (optional)
Vorschau
# robots.txt, generiert von kb-media.ch/robots-txt-generator User-agent: * Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Werbefläche 1
Werbefläche 2
Werbefläche 3
Werbefläche 4
Werbefläche 5
Werbefläche 6
Werbefläche 7
Werbefläche 8
robots.txt richtig einsetzen
KI-Bots blockieren
Immer mehr KI-Trainingscrawler respektieren robots.txt. GPTBot, CCBot und ClaudeBot können einzeln gesperrt werden.
User-agent: GPTBot
Disallow: /