À propos de cet outil
Validez le robots.txt d’un site, testez si un chemin est autorisé pour un robot (IA comprise) ou générez des fichiers robots.txt et llms.txt.
Le robots.txt est lu ligne par ligne en groupes et chaque règle est appliquée comme Google le documente : la règle correspondante la plus précise gagne, Allow l’emporte à égalité, * et $ servent de jokers. Champs inconnus, règles hors groupe et limite de 500 Kio sont signalés ; les robots d’IA sont listés à part.
Exemple : vérifiez Site web = https://www.google.com, Tester un chemin (facultatif) = /search, pour le robot = Googlebot.
robots.txt contrôle l’exploration, pas l’indexation, et les robots respectueux le suivent volontairement. llms.txt est une proposition informelle.
Étapes rapides
- Saisissez l’adresse d’une page ou d’un domaine public.
- Appuyez sur Vérifier. Le serveur 1CLIK la visite, ce qui peut prendre quelques secondes.
- Lisez chaque ligne — Bon, À améliorer, Problème ou Info — avec une indication de correction.
Le serveur 1CLIK ne récupère que l’adresse publique saisie. Les adresses privées et internes sont refusées, et les résultats restent quelques minutes en cache, sans être enregistrés dans votre compte.
FAQ
Comment fonctionne l’outil Validateur / générateur robots.txt et llms.txt ?
Le robots.txt est lu ligne par ligne en groupes et chaque règle est appliquée comme Google le documente : la règle correspondante la plus précise gagne, Allow l’emporte à égalité, * et $ servent de jokers. Champs inconnus, règles hors groupe et limite de 500 Kio sont signalés ; les robots d’IA sont listés à part.
À quoi dois-je faire attention ?
robots.txt contrôle l’exploration, pas l’indexation, et les robots respectueux le suivent volontairement. llms.txt est une proposition informelle.
Pourquoi le résultat peut-il différer de ce que je vois dans mon navigateur ?
La vérification voit ce que le serveur envoie à 1CLIK, avant tout JavaScript. Les sites peuvent aussi répondre autrement aux requêtes automatiques, les bloquer ou varier selon le pays.