Créer, optimiser et modifier le fichier robots.txt

Comment modifier ou créer un fichier robots.txt dans votre répertoire WordPress afin d’aider GoogleBot à parcourir votre site ? Optimiser pour WordPress votre fichier robots ?

Dans ce tutoriel nous allons voir comment créer et/ou modifier votre fichier robot.txt dans votre répertoire WordPress. Le processus n’est pas difficile à réaliser (la preuve je l’ai fait !). Vous n’avez pas besoin d’ajouter de plugin supplémentaire à votre WordPress pour réaliser ce tuto.

À savoir :

D’origine WordPress ne crée pas de fichier robots.txt dans son répertoire. C’est pourquoi certains webmasters utilisent des extensions/plugins pour y remédier. Mais cela n’est pas la bonne solution à mon goût. Je vais vous montrer comment ajouter manuellement votre fichier Robots à la source de votre répertoire WordPress facilement.

Pour les néophytes : le fichier sitemap.xml ne remplace pas votre Robots.txt.

Tutoriel WordPress pour le fichier Robots.txt 

Créer ou modifier votre robots.txt :

Connectez-vous à l’administration de GoogleWebmaster (pour votre site web.). Cliquez dans le menu de gauche, sur l’onglet : Exploration > puis > Outil de test du fichier robots.txt.

Ici, vous allez trouver votre fichier Robot. Il est aussi en général placé sur votre site à cet emplacement : www.monsite.com/robots.txt.

Optimisez votre fichier robots.txt :

Votre fichier robots.txt devrait comporter au minimum les lignes ci-dessous. Selon vos besoins vous allez adapter votre fichier Robots, mais si vous voulez rester dans quelque chose de très simple ajouter seulement les lignes suivantes :

User-agent: *

Disallow: /wp-admin/

Allow: /*.js$

Allow: /*.css$

Sitemap: http://www.monsite.com/sitemap.xml

Exemple :

C’est aussi ici que vous pouvez modifier votre fichier robots.txt pour y ajouter tout ce que vous souhaitez.

Envoyer votre fichier robots.txt :

1/ Une fois les lignes ci-dessus ajoutées, cliquez sur envoyé > puis > une nouvelle fenêtre va s’ouvrir. Dans un premier temps, télécharger votre fichier robots.txt mis à jour sur votre bureau.

Il vous suffit ensuite de charger votre document Robots.txt (via votre hosteur ou via votre server FTP) dans votre dossier source de votre site. C’est-à-dire avec les fichiers principaux de votre site, à la racine.

2/ Maintenant sur GoogleWebmaster vous allez pouvoir « vérifier la version importée » > et > Consulter la version importée.

Si vous avez bien respecté les consignes, votre fichier robots.txt devrait être modifié à l’adresse : www.monsite.com/robots.txt.

3/ Il ne vous reste plus qu’à passer à l’étape trois sur GoogleWebmaster : « Demander la mise à jour à Google » > et > envoyer.

Pour finir :

Après avoir envoyé le fichier, patienter quelques minutes avant de réactualiser la page Googlewebmaster. Vous n’avez plus qu’à tester votre lien www.monsite.com/robots.txt avec GoogleBot. Si tout est OK vous allez être notifié par un « autoriser ».

Exemple :

Et voilà, vous venez de créer votre fichier robots.txt pour WordPress. Si vous avez des suggestions, n’hésitez pas à laisser un commentaire ?