Acerca de esta herramienta
Valida el robots.txt de un sitio, comprueba si una ruta está permitida para un rastreador (incluidos bots de IA) o genera archivos robots.txt y llms.txt.
El robots.txt se lee línea a línea en grupos y cada regla se compara como documenta Google: gana la regla coincidente más específica, Allow gana en empate y * y $ funcionan como comodines. Se informan campos desconocidos, reglas fuera de grupo y el límite de 500 KiB; los rastreadores de IA se listan aparte.
Ejemplo: comprueba Sitio web = https://www.google.com, Probar una ruta (opcional) = /search, para el rastreador = Googlebot.
robots.txt controla el rastreo, no la indexación, y los bots responsables lo siguen voluntariamente. llms.txt es una propuesta informal.
Pasos rápidos
- Introduce la dirección de una página o dominio público.
- Pulsa Comprobar. El servidor de 1CLIK la visita, lo que puede tardar unos segundos.
- Lee cada línea (Bien, Mejorar, Problema o Información) con una pista de qué corregir.
El servidor de 1CLIK solo descarga la dirección pública que introduces. Las direcciones privadas e internas se rechazan y los resultados se guardan unos minutos en caché, no en tu cuenta.
Preguntas frecuentes
¿Cómo funciona Validador y generador de robots.txt y llms.txt?
El robots.txt se lee línea a línea en grupos y cada regla se compara como documenta Google: gana la regla coincidente más específica, Allow gana en empate y * y $ funcionan como comodines. Se informan campos desconocidos, reglas fuera de grupo y el límite de 500 KiB; los rastreadores de IA se listan aparte.
¿Qué debo tener en cuenta?
robots.txt controla el rastreo, no la indexación, y los bots responsables lo siguen voluntariamente. llms.txt es una propuesta informal.
¿Por qué el resultado puede ser distinto de lo que veo en mi navegador?
La comprobación ve lo que el servidor envía a 1CLIK, antes de ejecutar JavaScript. Los sitios también pueden responder distinto a las peticiones automáticas, bloquearlas o variar según el país.