robots.txt pour MediaWiki

Versions MediaWiki :

Présentation

Par défaut le fichier robot.txt donnant la liste des répertoires à ne pas indexer au moteurs de recherches n'est pas installé par MediaWiki . Il peut donc être utile de l'ajouter pour éviter que des fichiers stratégiques soit indexés. Si le robot.txt n'est pas toujours pris en compte par certains moteurs de recherches, il reste utile pour les principaux.

Procédure

Le robot.txt de base comprend les principaux répertoires d'une installation MediaWiki standard. Il convient d'y ajouter les dossiers spécifiques à chaque site en ajoutant l'intitulé du répertoire ne devant pas être indexé.

ex. /images-perso/enfances/moi/ pour ne pas indexer le contenu du répertoire enfances et de ceux qui suivent.

robot.txt est un fichier texte ASCII pur comme ceux produits par Notepad, Notepad++ et tout autre éditeur texte. Son contenu pour MediaWiki conseillé est :

User-agent: *
Disallow: /cache/ 
Disallow: /docs/
Disallow: /extensions/
Disallow: /includes/
Disallow: /languages/
Disallow: /maintenance
Disallow: /mw-config/
Disallow: /resources/
Disallow: /serialized
Disallow: /skins
Disallow: /temp
Disallow: /tests
Disallow: /upload_tmp_dir