Créer un fichier robots.txt

RobotsCréer un fichier robots.txt fait parti des éléments à mettre en place pour optimiser votre référencement naturel.

A quoi sert-il ?

La réponse est assez simple.
Vous le savez, Google indexe toutes vos pages présentes sur votre site. Certaines  de vos pages peuvent être confidentielles, d'autres inutiles à indexé comme la page contact, et d'autres encore peuvent être en travaux.Vous ne voulez donc pas que Google les indexes.

Et c'est là que le fichier robots.txt intervient. C'est un fichier texte, donc tout simple (vous pouvez le faire avec document texte), où vous indiquerez à quel type de robots que vous voulez ou ne voulez pas indexer certaines pages.

Je parle du type de robot car oui, il y en a plusieurs. Google, Alta Vista, Voilà, Lycos... Ils ont chaqu'un leurs robots.

La pratique.

Il n'existe que 5 mots clés à retenir !

-User-agent: Il désigne le nom des robots que vous voulez configurer.
Si vous mettez "User-agent: *" vous dites "tout les robots"
Si vous mettez "User-agent: Googlebot" vous dites "Uniquement les robots Google"

-Disallow: Qui veut dire "refuser". Vous allez rentrez un nom de fichier après celui-ci. Le fichier que vous ne voulez pas que les robots explorent.

Si vous le précédez d'un "/" vous ne bloquerez qu'un seul dossier :
Ex: "Disallow: /contact/" bloquera le fichier "/contact/rdv.html" mais autorisera le fichier "/contact.html"

Si vous ne mettrez pas de "/" à la fin, vous refuserez tout les fichiers contenu dans "contact"
Ex: "Disallow:/contact" bloquera le fichier "/contact/rdv.html" et "/contact.html"

Si l'on met juste "Disallow: /" Vous interdisez aux robots d'indexer toutes vos pages.

-Allow: Permet de dire aux robots que vous autorisez un fichier ou un dossier. Cependant il n'est pas pris en compte par tout les robots. A éviter. De toute façon, tout ce que vous ne mettrez pas en Disallow sera par défaut en Allow.

-Sitemap: Pour vous permettre d'indiquer aux robots l'emplacement du fichier sitemap.xml.

-#: Suivi de texte le fera automatiquement passer en commentaire. A utiliser si vous voulez faire des annotation pour vous ou vos collègues.

Un exemple concret de fichier robots.txt:

User-agent: *                                    #Nous nous adressons à tout les robots.
Allow: /                                            #Nous autorisons tout.
Disallow: /contact/                            #Nous interdisons l'accès au dossier "contact".
Disallow: /contact.html                      #Nous interdisons l'accès au fichier contact.html".
User-agent: Googlebot                       #Nous nous adressons désormais uniquement aux robots Google.
Sitemap: /sitemap/mon_sitemap.xml  #Nous donnons aux robots Google l'emplacement du fichier sitemap.

Et voilà vous savez désormais comment faire un fichier robots.txt !
Pour qu'il soit effectif vous devez tout simplement le placer à la racine de votre site.
Attention ne mettez pas de majuscules a robots et n'oubliez pas le "s".

Pour les utilisateurs de wordpress voici un robots.txt bien réalisé qui est trouvable un peu partout sur la toile.robots txt

User-agent: *
Disallow: /*?
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Allow: /wp-content/uploads
Disallow: */trackback
Disallow: /*/feed
Disallow: /*/comments
Disallow: /cgi-bin
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz
Disallow: /*.cgi
User-agent: Googlebot-Image
Disallow:
User-agent: Mediapartners-Google
Disallow:

Un plugin nommé WP Robots Txt vous permettra d'entrer vos données dans l'interface WP.
Le plugin SEO by Yoast vous permet aussi de le faire. (Ce plugin présente plein d'autres fonctionnalités pour votre référencement naturel.

Laisser un commentaire