3 min de lecture
Le fichier robots.txt de WordPress indique aux robots quelles URL ils peuvent explorer. Pour diagnostiquer un blocage, ouvrez le fichier réellement servi sur le domaine concerné et comparez ses règles à l’URL touchée.
Contrôler le fichier public
- Bon domaine
- Règle applicable
- Test en direct
Diagnostiquer une interdiction d’exploration sur WordPress
Ouvrez /robots.txt à la racine du domaine exact, avec le bon protocole et le bon sous-domaine. Conservez la réponse actuelle. Selon l’installation, elle peut venir d’un fichier physique, de WordPress, d’une extension ou d’une couche intermédiaire.
Préparez deux URL à comparer
- Une page utile que Google doit pouvoir explorer.
- Une seconde URL qui permet de vérifier la portée de la règle.
- Le fichier robots.txt servi sur le domaine exact de ces pages.
Identifier la règle qui touche la page
Relevez le groupe User-agent concerné et les règles d’accès. Comparez le chemin exact de la page, puis celui des fichiers dont elle dépend. Une interdiction générale héritée d’une préproduction peut affecter un ensemble bien plus large qu’une seule page.
Pour vérifier le crawl, comparez la règle avec l’URL exacte telle que Googlebot la demande. Une URL peut figurer dans le sitemap et rester bloquée à l’exploration. Après la correction, ouvrez le fichier public puis lancez un test en direct pour distinguer l’autorisation de crawl de l’état d’indexation.
Modifier la source qui sert réellement le fichier
Corrigez la règle à l’endroit qui produit la réponse publique. Gardez une copie de l’ancienne configuration. Ouvrez à nouveau le fichier public après modification pour confirmer qu’il affiche la règle attendue. Si une ancienne version reste servie, vérifiez le cache de l’hébergement ou du CDN.
Exemple de diagnostic
Si une règle Disallow: / apparaît sur le domaine public après une migration, relevez d’abord le groupe de robots auquel elle s’applique. Identifiez ensuite la source de la réponse avant de supprimer la règle et de relancer un test d’exploration.
Une règle bloque des pages utiles à Google ?
Je peux identifier les URL concernées et vérifier la correction sur le domaine public.
Contrôler la page dans Search Console
Utilisez l’inspection d’URL et son test en direct pour vérifier si Google peut explorer la page après correction. Pour empêcher l’indexation d’un contenu public, choisissez un mécanisme adapté tel que noindex et laissez Google accéder à la page pour lire cette instruction. Un robots.txt n’est pas une protection des contenus privés.
Pour distinguer l’accès du robot et l’indexation effective, poursuivez avec le guide Search Console. Comment indexer son site WordPress sur Google ?
Exemple : ouvrir les prestations après une refonte
Sur un site fictif, les prestations sont passées de /offres/ à /services/. Le domaine public sert encore une règle Disallow: /services/ copiée de la préproduction. Le menu et le sitemap pointent vers les nouvelles pages, mais Googlebot ne peut pas les explorer.
- Avant modification. Ouvrez le fichier public et testez une URL de service et une URL témoin dans Search Console.
- Correction. Retirez la règle dans la configuration qui la produit. Si le fichier public affiche encore l’ancienne version, vérifiez le cache avant de toucher à d’autres réglages.
- Après modification. Relancez le test en direct sur les mêmes URL. Vérifiez que le robot accède à la prestation et que le changement ne touche pas une autre zone.
Si l’URL est accessible mais absente de Google, poursuivez le diagnostic avec le guide de vérification après une refonte WordPress si le blocage est apparu au lancement. Vérifiez séparément la canonique et les redirections.
Vérifier le résultat
| Symptôme observé | Premier contrôle |
|---|---|
| Ancienne règle encore publique | Source du fichier et cache |
| URL explorée malgré la règle | Groupe de robot, domaine et chemin |
| URL bloquée toujours affichée dans Google | Exploration et indexation à examiner séparément |
- Le fichier est lu sur le bon domaine.
- La règle corrigée est visible dans la réponse publique.
- Le test en direct distingue l’accès de l’indexation.
Consulter la documentation de référence.
Questions fréquentes
Faut-il ajouter noindex dans le fichier robots.txt ?
Google n’interprète pas noindex comme une directive robots.txt. La page doit rester accessible au robot pour que celui-ci lise une directive noindex servie sur la page.
Une URL dans le sitemap peut-elle rester bloquée ?
Oui. Le sitemap signale l’adresse, tandis que robots.txt peut interdire de l’explorer. Vérifiez la règle sur le domaine qui sert réellement cette page.
Puis-je protéger une copie de test avec robots.txt ?
Protégez son accès avec une authentification si elle ne doit pas être publique. Une règle d’exploration ne bloque pas l’ouverture de la page par un visiteur.
À retenir
Relisez la réponse publique avant et après toute modification de robots.txt sur WordPress.
