Test de robots.txt
Collez votre fichier robots.txt et les URLs à vérifier : l'outil applique les règles comme Googlebot (groupe le plus spécifique, jokers, règle la plus longue) et vous dit ce qui est bloqué, règle par règle. Tout se passe dans votre navigateur.
| URL | Verdict | Règle appliquée |
|---|
Comment Google lit un robots.txt
Googlebot choisit d'abord son groupe de règles : celui dont la ligne User-agent correspond le plus précisément à son nom, sinon le groupe étoile. Il n'utilise jamais deux groupes à la fois. À l'intérieur du groupe, c'est la règle la plus longue qui l'emporte, et à longueur égale, Allow gagne sur Disallow. L'étoile remplace n'importe quelle suite de caractères et le dollar marque la fin de l'URL.
Les pièges classiques
Un Disallow ne désindexe pas : il empêche l'exploration, mais une page bloquée peut rester indexée si elle reçoit des liens ; pour désindexer, il faut un noindex et laisser la page explorable. Autre piège, Disallow: / bloque tout le site, alors qu'un Disallow vide n'interdit rien. Enfin, Crawl-delay est ignoré par Google.
Ce que teste cet outil
L'outil reproduit les règles de correspondance documentées par Google : sélection du groupe, jokers, priorité à la règle la plus longue. D'autres moteurs peuvent interpréter certains cas limites différemment, mais Bing suit aujourd'hui une logique très proche.