Come costruire la Sitemap.xml perfetta

La sitemap.xml è un elemento molto importante per un sito web, questo file infatti rappresenta l’indice di tutte le pagine che si intende inviare ai motori di ricerca affinchè vengano indicizzate.

La guida si focalizza sulla sintassi corretta della sitemap.xml, mentre per verificare la completezza degli URL elencati rimando a questa guida.

La sitemap.xml dovrebbe essere linkata dal file robots.txt che è il primo file che i crawler leggono quando atterrano su un sito web:

User-agent: *
Disallow: /admin/

Sitemap: http://www.esempio.com/sitemap.xml

Google nelle sue linee guida fornisce consigli e risorse dove è possibile studiare la struttura che una sitemap.xml dovrebbe avere, tuttavia molti webmaster ignorano queste indicazioni e generano sitemap.xml spesso rudimentali ed incomplete.

Con questo articolo vorrei riassumere le informazioni necessarie per creare una sitemap.xml perfetta.

Cos’è la Sitemap.xml

La sitemap.xml è un file, appunto in formato .xml, che contiene l’elenco formattato degli URL del sito web nel quale è contenuta. In questo elenco è possibile specificare, per ogni URL, alcune informazioni utili ai motori di ricerca:

• la data dell’ultimo aggiornamento – lastmod
• la frequenza di aggiornamento – changefreq
• l’importanza che l’URL ha in relazione a tutte le altre pagine del sito – priority
• eventuali immagini presenti nell’URL
• eventuali tag hreflang

Come si scrive la Sitemap.xml

La Sitemap.xml dovrebbe essere scritta e aggiornata automaticamente dal CMS ogni qual volta un contenuto viene aggiornato o aggiunto ex-novo.

Durante la compilazione della sitemap.xml bisogna rispettare alcuni limiti ed regole, come ad esempio, possono venire elencati fino ad un massimo di 50.000 URLs e la dimensione del file Sitemap.xml non compresso non deve superare i 50 MB.

Vediamo un esempio di Sitemap.xml con due URLs:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
      <loc>http://www.esempio.it/</loc>
      <lastmod>2013-06-26</lastmod>
      <changefreq>daily</changefreq>
      <priority>0.8</priority>
   </url>
   <url>
      <loc>http://www.esempio.it/contatti/</loc>
      <lastmod>2013-05-26</lastmod>
      <changefreq>monthly</changefreq>
      <priority>0.3</priority>
   </url>
</urlset> 

Come puoi notare la Sitemap.xml inizia con il tag di apertura “urlset” con il quale si dichiara lo standard del protocollo utilizzato. Di seguito trovi elencati tutti gli attributi, obbligatori e facoltativi, che una Sitemap.xml completa dovrebbe utilizzare.

Gli attributi della Sitemap.xml

<urlset>

Valore obbligatorio
Comprende il file e fa riferimento agli standard del protocollo corrente.

<url>

Valore obbligatorio
Tag principale per ogni voce URL. I tag restanti sono secondari di questo tag.

<loc>

Valore obbligatorio
URL della pagina. L’URL deve iniziare con il protocollo (ad esempio http) e terminare con una barra finale, se richiesto dal server web. Questo valore deve contenere meno di 2048 caratteri.

<lastmod>

Valore facoltativo
Data dell’ultima modifica del file. Questa data dovrebbe avere il formato W3C Datetime, che ti consente di omettere l’ora, se lo desideri, e di utilizzare il formato AAAA-MM-GG. Questo tag è separato dall’intestazione If-Modified-Since (304) che il server può restituire ed è possibile che i motori di ricerca utilizzino queste informazioni da entrambe le sorgenti in modo differente.

<changefreq>

Valore facoltativo
Frequenza con la quale la pagina potrebbe venire modificata. Questo valore fornisce informazioni generiche ai motori di ricerca ed è possibile che non sia esattamente correlato alla frequenza di scansione della pagina. I valori validi sono:

• always
• hourly
• daily
• weekly
• monthly
• yearly
• never

Il valore “always” deve essere utilizzato per descrivere i documenti che subiscono modifiche ogni volta che vi si accede. Il valore “never” deve essere utilizzato per descrivere gli URL archiviati.

Il valore di questo tag viene considerato un suggerimento e non un comando. Anche se i crawler dei motori di ricerca possono prendere in considerazione questa informazione, è possibile che la scansione di pagine contrassegnate come “hourly” avvenga meno di frequente rispetto alla scansione di pagine contrassegnate come “yearly”. È possibile che i crawler eseguano la scansione periodica di pagine contrassegnate come “never”, in modo da poter gestire modifiche impreviste apportate a tali pagine.

<priority>

Valore facoltativo
La priorità di questo URL rispetto ad altri URL del sito. L’intervallo di valori validi è compreso tra 0,0 e 1,0. Questo valore non influisce sul modo in cui le tue pagine vengono confrontate con le pagine di altri siti, ma ti consente di indicare ai motori di ricerca le pagine che reputi più importanti per i crawler.

La priorità predefinita di una pagina è 0,5.

È probabile che la priorità assegnata a una pagina non influisca sulla posizione degli URL nelle pagine dei risultati di un motore di ricerca. I motori di ricerca possono utilizzare queste informazioni al momento della selezione degli URL dello stesso sito; pertanto, puoi utilizzare questo tag per aumentare la probabilità di visualizzazione delle pagine più importanti nell’indice di ricerca.

Inoltre, è probabile che l’assegnazione di un’alta priorità a tutti gli URL del tuo sito non sia di aiuto. Poiché la priorità è relativa, essa viene utilizzata solo per selezionare gli URL del tuo sito.

Ci possono essere situazioni dove una sola sitemap non basta, ad esempio per siti con più di 50.000 pagine. In questi casi si devono generare più sitemap ed una sitemapindex che le comprenda tutte. Vediamo un esempio di sitemapindex.xml

La Sitemapindex.xml

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.esempio.it/sitemap1.xml.gz</loc>
      <lastmod>2013-06-01T14:32:19+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.esempio.it/sitemap2.xml.gz</loc>
      <lastmod>2013-06-01</lastmod>
   </sitemap>
</sitemapindex>

Dove posizionare la Sitemap.xml

Si consiglia di inserire il file Sitemap.xml nella root del web server poichè gli URLs contenuti devono risiedere nella stessa struttura di folder della sitemap. In altre parole, il percorso di un file Sitemap determina l’insieme di URL che può essere inserito nella Sitemap, ad esempio:

Un file Sitemap posizionato in http://esempio.it/catalog/sitemap.xml può includere tutti gli URL che iniziano con http://esempio.it/catalog/ ma non quelli che iniziano con http://esempio.it/images/.

Per questo motivo si consiglia di posizionare la sitemap nel folder dove risiede la prima pagina del sito (index.php/html/asp/…)

La Sitemap.xml per i siti multi-lingua organizzati in sub-folder

Immaginiamo un sito in due lingue, Italiano ed Inglese, organizzato in sub-folder:

• http://www.esempio.com/IT/
• http://www.esempio.com/EN/

In questo caso si consiglia di generare tre sitemap distinte:

• Un indice di sitemap: http://www.esempio.com/Sitemapindex.xml
• La sitemap per gli URL in lingua Italiana: http://www.esempio.com/IT/Sitemap.xml
• La sitemap per gli URL in lingua Inglese: http://www.esempio.com/EN/Sitemap.xml

Questa suddivisione aiuta Google ad interpretare e suddividere le lingue nel sito, soprattutto in casi dove il rel alternate non sia ben implementato.

In un sito multi lingua ti consiglio anche di implementare i tag hreflang.

Come riprodurre i caratteri speciali nella Sitemap.xml

Di seguito trovi la versione escape dei caratteri speciali più comuni.

Carattere e Codice di escape:

E commerciale &: &
Virgolette semplici ': '
Virgolette doppie ": "
Maggiore di >: >
Minore di <: &lt;

Come verificare la correttezza della Sitemap.xml

Ho scritto una guida dedicata alla verifica della sitemap che ti consiglio di leggere. Online esistono diversi tools per testare la validità della Sitemap.xml, di seguito elenco alcuni strumenti:

• Google Search Console
• http://www.xml-sitemaps.com/validate-xml-sitemap.html
• http://www.automapit.com/sitemapvalidator.html
• http://www.xmlcheck.com/
• http://seogadget.com/check-your-xml-sitemap-errors/
• http://www.inspyder.com/free/SitemapValidator.aspx

Linee guida e suggerimenti di Google

Attenzione: i suggerimenti dati da Google potrebbero essere diversi dal protocollo standard.

• Utilizza URL uniformi e completi. Google eseguirà la scansione degli URL esattamente come indicati. Ad esempio, se il tuo sito si trova all’indirizzo https://www.esempio.com/, non specificare un URL https://esempio.com/ (senza www) oppure ./pagina.html (URL relativo).
• La sitemap.xml può essere pubblicata ovunque sul tuo sito, ma potrà includere solo URL figli della directory dove è posizionata. Pertanto, una Sitemap pubblicata nella directory principale del sito può includere tutti i file presenti sul sito.
• Non includere ID sessione negli URL contenuti nella tua Sitemap in modo da ridurre la scansione duplicata di tali URL.
• Informa Google della presenza di versioni in altre lingue di un URL usando le annotazioni hreflang.
• Per i file Sitemap devi utilizzare la codifica UTF-8 e gli URL devono contenere i caratteri di escape appropriati.
• Suddividi le Sitemap di grandi dimensioni in Sitemap più piccole: le dimensioni massime consentite per ogni Sitemap sono di 50.000 URL/50 MB senza compressione. Usa un file Indice Sitemap per elencare tutte le singole Sitemap e inviare a Google solo questo file anziché le singole Sitemap.
• Elenca solo gli URL canonici nelle Sitemap. Se hai due versioni di una pagina, elenca solo quella canonica (selezionata da Google) nella Sitemap. Se hai due versioni del sito (ad esempio, www e non www), stabilisci il tuo sito preferito e pubblica lì la Sitemap, quindi aggiungi elementi rel=canonical o reindirizzamenti sull’altro sito.
• Se hai URL diversi per le versioni desktop e per dispositivi mobili di una pagina, ti Google consiglia di indirizzare a una sola versione in una Sitemap. Tuttavia, se ritieni necessario indirizzare a entrambi gli URL, annota i tuoi URL in modo da indicare la versione desktop e quella per i dispositivi mobili.
• Utilizza estensioni Sitemap per indirizzare ad altri tipi di contenuti multimediali quali video, immagini e notizie.
• Se hai pagine alternative per lingue o aree geografiche diverse, puoi usare hreflang in una Sitemap o in tag HTML per indicare gli URL alternativi.
• Caratteri non alfanumerici e non latini: per il file Sitemap deve essere utilizzata la codifica UTF-8 (generalmente è possibile applicare la codifica al momento del salvataggio del file). Analogamente a quanto accade con i file XML, tutti i valori dei dati (inclusi gli URL) devono utilizzare codici di escape per i caratteri elencati nella seguente tabella. Una Sitemap può contenere soltanto caratteri ASCII e non caratteri ASCII maiuscoli o alcuni codici di controllo e caratteri speciali quali * e {}. Se l’URL della Sitemap contiene tali caratteri, verrà generato un errore quando tenterai di aggiungere la Sitemap.
• Tutti gli URL (incluso l’URL della tua Sitemap) devono essere codificati in modo da consentirne la lettura ai server web su cui si trovano e devono contenere caratteri di escape. Se, invece, utilizzi script, strumenti o file di log per generare gli URL (qualsiasi metodo, ad eccezione dell’inserimento manuale), l’operazione viene in genere eseguita automaticamente. Se invii la Sitemap e ricevi un messaggio di errore relativo all’impossibilità per Google di trovare alcuni URL, verifica che gli URL siano conformi allo standard RFC-3986 per gli URI, allo standard RFC-3987 per gli IRI e allo standard XML.
  • Di seguito viene riportato un esempio di URL in cui viene utilizzato un carattere non ASCII (ü) e un carattere che richiede codici di escape (&):
  • http://www.example.com/ümlat.html&q=name
  • Di seguito viene riportato lo stesso URL con codifica ISO-8859-1 (per l’hosting su un server che utilizza la stessa codifica) e con le forme di escape opportune:
  • http://www.example.com/%FCmlat.html&q=name
  • Di seguito viene riportato lo stesso URL con codifica UTF-8 (per l’hosting su un server che utilizza la stessa codifica) e con le forme di escape opportune:
  • http://www.example.com/%C3%BCmlat.html&q=name
  • Di seguito viene riportato lo stesso URL con codice di escape:
  • http://www.example.com/%C3%BCmlat.html&q=name
• Ricorda che le Sitemap rappresentano un suggerimento per Google relativo alle pagine che ritieni importanti; Google non si impegna a eseguire la scansione di ogni URL presente in una Sitemap.
• Google ignora i valori priority e changefreq , quindi non preoccuparti di aggiungerli.
• Google legge il valore , ma se lo rappresenti in modo errato, questo valore non verrà più letto.
• La posizione di un URL in una Sitemap non è importante; Google non esegue la scansione degli URL nell’ordine in cui sono visualizzati nella Sitemap.