Les robots des moteurs de recherche sillonnent le Web nuit et jour pour répertorier toutes les pages des sites. Comment s'y prennent-ils ? Quand ils arrivent sur la page d'accueil d'un site, ils l'indexent. Et ils poursuivent leur travail en suivant les liens contenu dans la page. Ils visitent ainsi toutes les pages du site.

Que faut-il faire pour éviter, par exemple, que les pages d'un site familial ne soient rendues publiques par les moteurs de recherche ? Stoppez les robots !

Rien n'arrête les robots. Sauf cette balise META : <META name="robots" content="none">. Insérez-la dans la section <head> de la page d'accueil de votre site. En voyant cette balise les robots ignoreront le site complet.

Le contenu de cette balise peut être modulé par quatre autres attributs :
- index (indexation de la page) ;
- noindex (non indexation de la page) ;
- follow (le robot peut suivre les liens hypertextes) ;
- nofollow (interdiction de suivre les liens hypertextes).

Par exemple :
<META name="robots" content="index,nofollow"> autorise l'indexation de la page en cours mais empêche le robot de poursuivre sa visite.
<META name="robots" content="noindex,follow"> empêche l'indexation de la page en cours mais autorise le robot à suivre les liens.