Voici le fichier robots.txt de ce site pour exemple :
-------- Début du fichier Robots.txt ----------
#Robots.txt fichier créé par Amaury Krid
#Pour son domaine: http://www.internet-webmaster.info/
User-agent: *
Disallow:
Sitemap: http://www.internet-webmaster.info/sitemap.xml
-------- Fin du fichier Robots.txt ----------
|
Il indique, que l’indexation n’exclue aucun moteur de
recherche par User-agent: * et que aucun contenu du site n’est exclu de
l’indexation par Disallow:
Les robots de recherches se servent beaucoup de sitemap aujourd’hui,
indique le dans votre fichier robots.txt si vous en avez un.
Conclusion :
Le fichier robots.txt n’est pas indispensable mais il apporte un
véritable plus pour son indexation. Vous pouvez interdire l’indexation
certains fichiers comme par exemple les photos de votre famille. C’est
un plus de savoir que vos photos ne risquent pas de ressortir dans
google images. D’autre part si votre site est en construction, il est
important d’interdire son accès aux robots de recherches pour éviter
tout blacklistage pour cause de site vide.
L’apparition de SiteMap renforce le rôle du fichier robots.txt, prenez
donc quelques minutes pour créer le votre.
Cf :
Dossier Le SiteMap
Ecrit par Amaury Krid, Webmaster de
Internet-Webmaster.info
Retour
aux dossiers
