I meta robots sono tag posizionabili nell’HEAD di una pagina HTML per comunicare importanti direttive ai Motori di Ricerca, come ad esempio richiedere di non indicizzare la pagina.
Dopo che il file robots.txt (o l’assenza di tale file) ha dato l’autorizzazione a eseguire la scansione della pagina, per impostazione predefinita le pagine vengono considerate sottoponibili a scansione, archiviabili e i relativi contenuti vengono approvati per essere utilizzati negli snippet inclusi nei risultati di ricerca, a meno che l’autorizzazione venga negata in modo specifico in un meta tag robots o in un’intestazione X-Robots-Tag.
Da quando sono state implementate le prime tag meta robot le cose si sono un pochino evolute, i motori di ricerca hanno infatti aggiunto alcune nuove tag. In questa guida voglio elencare tutte le possibili tag meta robots che possiamo inserire nelle nostre pagine HTML.
Puoi creare un’istruzione con più indicazioni combinando le istruzioni dei meta tag robots con le virgole. La sintassi standard è la seguente:
<!-- Sintassi -->
<meta name="robots" content="direttiva1,direttiva2">
<!-- Esempio 1 -->
<meta name="robots" content="nofollow"/>
<!-- Esempio 2 -->
<meta name="robots" content="noindex,follow,noodp,noydir"/>INDEX
Permette ai motori di ricerca di indicizzare la pagina. Questa impostazione è definita come default, quindi non è necessario inserirla in pagina.
NOINDEX
Il meta tag robots noindex impedisce ai motori di ricerca di indicizzare la pagina. La risorsa non verrà mostrata nei risultati di ricerca.
La direttiva può essere specificata a livello globale o per singolo motore di ricerca:
<!-- Per impedire alla maggior parte dei motori di ricerca di indicizzare la pagina -->
<meta name="robots" content="noindex">
<!-- Per impedire solo a Google di indicizzare la pagina -->
<meta name="googlebot" content="noindex">
<!-- Per specificare più crawler singolarmente -->
<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">NOIMAGEINDEX
Il tag NOIMAGEINDEX dice ai motori di ricerca di non indicizzare le immagini presenti in pagina. I motori di ricerca possono recepire questa tag solo se leggono l’HTML della pagina, nel caso invece che l’immagine venga anche linkata da altre pagine, allora potrebbe venire indicizzata. Per risolvere questo problema consiglio di usare X-Robots-Tag all’interno dell’HTTP header dei file immagine.
NONE
Il tag meta robots NONE include due comandi in uno solo: NOINDEX e NOFOLLOW. In pratica con questa tag di dice ai motori di ricerca di non indicizzare la pagine a di non seguirne i link in essa contenuti.
FOLLOW
Questa tag dice ai motori di ricerca di seguire i link contenuti nella pagina. Questa tag è assegnata di default ad ogni URL (in mancanza di indicazioni differenti) quindi non è necessario inserirla in pagina.
NOFOLLOW
Il tag NOFOLLOW dice ai motori di ricerca di non seguire i link contenuti in pagina. I link essendo esclusi non passeranno PageRank e forza di ranking.
NOARCHIVE
Il tag robots NOARCHIVE dice ai motori di ricerca di non mostrare la copia cache della pagina. Per chi non lo sapesse è possibili vedere la copia cache di qualsiasi pagina indicizzata inserendo in Chrome l’operatore di ricerca “cache:wwwesempio.com”.
NOCACHE
Questa tag è identica a NOARCHIVE ma è utilizzata da Bing/MSN/Live.
NOSNIPPET
Il tag meta robots NOSNIPPET dice ai motori di ricerca di non mostrare il tag meta description ed il link alla versione cache nei risultati di ricerca. Per il momento il tag è supportato solo da Google.
<!-- Direttiva per tutti i bot -->
<meta name="ROBOTS" content="NOSNIPPET">
<!-- Direttiva specifica per Googlebot -->
<meta name="GOOGLEBOT" content="NOSNIPPET">NOODP
Questa tag dice ai motori di ricerca di non utilizzare come meta description alternativa la descrizione (eventualmente) presente nella directory DMOZ (ODP).
Cito da questa pagina: Controllo dei titoli e degli snippet di pagina
Google genera in modo completamente automatico i titoli e le descrizioni (o “snippet”) delle pagine, tenendo in considerazione sia il contenuto di una pagina, sia i riferimenti a essa presenti sul Web…
…
Impedisci ai motori di ricerca di visualizzare dati DMOZ nei risultati di ricerca per il tuo sito.
In alcuni casi potrebbe davvero esserti utile, soprattutto quando riesci ad ottenere un link da DMOZ, ma con anchor text sbagliata.
NOYDIR
Meta robots specifica per Yahoo! per richiedere di non usare la descrizione presente nella sua directory come meta description di quella pagina. Nessun altro motore di ricerca supporta questa tag.
Compatibilità con i motori di ricerca
Vediamo come vengono supportate i tag meta robots dai principali motori di ricerca:
| Meta Robots | Yahoo! | Bing/MSN/Live | |
|---|---|---|---|
| index | Si | Si | Si |
| noindex | Si | Si | Si |
| none | Si | ? | ? |
| follow | Si | ? | ? |
| nofollow | Si | Si | Si |
| noarchive | Si | Si | Si |
| nosnippet | Si | No | No |
| noodp | Si | Si | Si |
| noydir | No | Si | No |
Tutti gli spider di Google
I motori di ricerca possono avere crawler differenti per proprietà o scopi differenti. Consulta l’elenco completo dei crawler di Google.
Quanto tempo dovrei dedicate ai meta tag e quali sono importanti?
Approfondimenti
Articoli correlati
Autore
