Differentemente dai tag title, description e keywords, il cui scopo è quello di includere informazioni supplementari alla pagina, il meta ROBOTS contiene dei "consigni di comportamento" per gli splider che hanno lo scopo di prelevare e analizzare la pagina.
Attraverso il meta ROBOTS è possibile impartire due diverse direttive agli spider
- chiedere di indicizzare (INDEX) o meno (NOINDEX) i contenuti della pagina visitata;
- chiedere di seguire tutti i link contenuti nella pagina (FOLLOW) o di non seguirli (NOFOLLOW).
Questi parametri possono essere combinati a piacimento all'interno del content del tag meta.
La sintassi è quindi la seguente:
<meta name="robots" content="index/noindex, follow/nofollow">
