créer son robot TXT : Conseils techniques webmasters

Conseils techniques webmasters > créer son robot TXT

Le 27/12/2008 à 12:12Conseils techniques webmasters

création de votre robots.txt

Tous savoir pour créer votre robot TXT.

Définition du robots.txt

Le fichier robots.txt est un fichier texte, il contient des commandes pour les robots d'indexation des moteurs de recherche .

le robots.txt précise les pages qui peuvent ou ne peuvent pas être indexées selon votre choix.

Il faut que vous sachiez que tout moteur de recherche commence l'exploration d'un site web

en cherchant le fichier robots.txt qui doit se trouver à la racine du site et portant ce nom (robots.txt).

User-Agent : il désigne le robot concernés

La valeur : * pour signifier que vos directives concerne tous les moteurs de recherche

Disallow : permet d'indiquer les pages à exclure de l'indexation de votre site.

Chaque page ou chemin à exclure doit être sur une ligne à part et doit commencer par /. La valeur / seule signifie "toutes les pages du site".

(Voir sur l'exemple ci-dessous)

Voici un robots.txt : CLIQUEZ ICI POUR VOIR

Fermer cette fenêtre en cliquant sur la croix rouge à droite

User-agent: *
User-agent: Mediapartners-Google*
Disallow:
Disallow: /administration/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

VOUS TROUVEZ CET ARTICLE UTILE VOTER POUR LUI.

Un fichier robot ne doit avoir acune ligne vide

exemples de fichier robots.txt à personnaliser selon vos directives:

Exclure toutes les pages :

User-Agent: *Disallow: /

Exclure aucune page ( ce qui revient à ne pa avoir de robot) :

User-Agent: *Disallow:

Autoriser un seul robot :

User-Agent: nomDuRobotDisallow :User-Agent: *Disallow: /

Exclure un robot :

User-Agent: NomDuRobotDisallow: /User-Agent: *Disallow:

Exclure une seule page :

User-Agent: *Disallow: /repertoire/chemin/page.html

Exclure plusieurs pages de votre site :

User-Agent: *
Disallow: /repertoire/chemin/page.html
Disallow: /repertoire/chemin/page2.html
Disallow: /repertoire/chemin/page3.html

Exclure toutes les pages d'un répertoire et des sous-dossiers :

User-Agent: *Disallow: /repertoire/

par laurent - tags : robot txt, txt, robot, robots, webamaster, lien, referencement

Commentaire (1)

1. ugg boots le 16/10/2009 à 11:03