Über dieses Werkzeug
Prüfe die robots.txt einer Website, teste, ob ein Pfad für einen Crawler (inkl. KI-Bots) erlaubt ist, oder erzeuge robots.txt- und llms.txt-Dateien.
Die robots.txt wird Zeile für Zeile in Gruppen gelesen und jede Regel so angewandt, wie Google es dokumentiert: Die spezifischste passende Regel gewinnt, Allow gewinnt bei Gleichstand, * und $ sind Platzhalter. Unbekannte Felder, Regeln außerhalb von Gruppen und die 500-KiB-Grenze werden gemeldet; KI-Crawler werden separat aufgeführt.
Beispiel: prüfe Website = https://www.google.com, Pfad testen (optional) = /search, für Crawler = Googlebot.
robots.txt steuert das Crawlen, nicht die Indexierung; seriöse Bots halten sich freiwillig daran. llms.txt ist ein informeller Vorschlag.
Kurze Schritte
- Gib die Adresse einer öffentlichen Seite oder Domain ein.
- Drücke Prüfen. Der 1CLIK-Server besucht sie, das kann einige Sekunden dauern.
- Lies jede Zeile – Gut, Verbessern, Problem oder Info – mit einem Hinweis, was zu beheben ist.
Der 1CLIK-Server ruft nur die eingegebene öffentliche Adresse ab. Private und interne Adressen werden abgelehnt; Ergebnisse werden einige Minuten zwischengespeichert, nicht in deinem Konto gespeichert.
FAQ
Wie funktioniert robots.txt- & llms.txt-Validator / -Generator?
Die robots.txt wird Zeile für Zeile in Gruppen gelesen und jede Regel so angewandt, wie Google es dokumentiert: Die spezifischste passende Regel gewinnt, Allow gewinnt bei Gleichstand, * und $ sind Platzhalter. Unbekannte Felder, Regeln außerhalb von Gruppen und die 500-KiB-Grenze werden gemeldet; KI-Crawler werden separat aufgeführt.
Was sollte ich beachten?
robots.txt steuert das Crawlen, nicht die Indexierung; seriöse Bots halten sich freiwillig daran. llms.txt ist ein informeller Vorschlag.
Warum kann das Ergebnis von dem abweichen, was ich im Browser sehe?
Die Prüfung sieht, was der Server an 1CLIK sendet, bevor JavaScript läuft. Websites können automatische Anfragen auch anders beantworten, blockieren oder je nach Land variieren.