Skip to content

Lo User-Agent è un’applicazione installata sul computer dell’utente che si connette ad un processo server. Esempi di user agent sono i browser web, i lettori multimediali e i programmi client per email come Outlook, Thunderbird, … Oggi il termine è utilizzato soprattutto in riferimento ai client che accedono al web. Oltre ai browser, gli User-Agent del web possono essere i crawler dei Motori di Ricerca, i telefoni cellulari, i lettori di schermo e i browser braille usati da persone non vedenti.

“Crawler” è un termine generico che indica qualsiasi programma (come un robot o uno spider) utilizzato per l’individuazione e la scansione automatiche dei siti web seguendo i link da una pagina web all’altra. Il crawler principale di Google è Googlebot.

Quando gli utenti di Internet visitano un sito web, una stringa di testo è solitamente inviata per fare identificare al server lo user agent (HTTP header o intestazione HTTP). Questo fa parte della richiesta HTTP, con prefisso “User-agent:” o “User-Agent:” e tipicamente include informazioni come il nome dell’applicazione client, la versione, il sistema operativo e la lingua. I bot spesso includono anche l’indirizzo web e la mail del proprietario, in modo tale che l’amministratore del sito possa contattarlo.

La stringa dell’user-agent è uno dei criteri per i quali alcuni bot possono essere esclusi da alcune pagine usando il file robots.txt. Questo permette ai webmaster, che ritengono che alcune parti del loro sito (o tutto il sito) non debba essere incluso nei dati raccolti da un particolare bot o che quel particolare bot stia usando troppa banda, di bloccare l’accesso alle pagine.

Nella tabella che segue vengono riportate informazioni sui crawler di Google più comuni che potresti notare nei tuoi log referrer e su come dovrebbero essere specificati nel file robots.txt, nei meta tag robots e nelle istruzioni HTTP X-Robots-Tag.

Elenco Google User-Agent

CrawlerUser-agentHTTP(S) richiede lo user-agent
Googlebot
(Ricerca Google)
Googlebot
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • (utilizzato raramente): Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot NewsGooglebot-News
(Googlebot)
Googlebot-News
Googlebot ImmaginiGooglebot-Image
(Googlebot)
Googlebot-Image/1.0
Googlebot VideoGooglebot-Video
(Googlebot)
Googlebot-Video/1.0
Google MobileGooglebot-Mobile
  • SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
  • DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Google SmartphoneGooglebot
  • Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Da Aprile 2016 è cambiato in: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google Mobile AdSense
  • Mediapartners-Google
  • Mediapartners (Googlebot)
[vari tipi di dispositivi mobili] (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Google AdSense
  • Mediapartners-Google
  • Mediapartners (Googlebot)
Mediapartners-Google
Controllo qualità della pagina di destinazione Google AdsBotAdsBot-GoogleAdsBot-Google (+http://www.google.com/adsbot.html)

Infografica

Clicca l’immagine per scaricarla

Elenco degli User-Agent utilizzati dagli spider di Google
Elenco degli User-Agent utilizzati dagli spider di Google

Attraverso l’analisi del log del web server è possibile risalire a quale spider ha visitato il sito e quali pagine ha richiesto. Sapere a che spider fa riferimento un user-agent ci aiuta a capire cosa succede sul nostro sito web.

Quando nel file robots.txt vengono inserite regole per diversi user-agent, Google segue quello più specifico. Se desideri consentire a tutti i crawler di Google di eseguire la scansione delle tue pagine, non ti occorre un file robots.txt. Se desideri impedire o consentire a tutti i crawler di Google di accedere ad alcuni tuoi contenuti, specifica lo user-agent Googlebot. Ad esempio, se desideri che vengano visualizzate tutte le tue pagine nei risultati di ricerca di Google e desideri che vengano mostrati annunci AdSense nelle pagine, non ti occorre un file robots.txt. In modo simile, se desideri impedire a Google di accedere ad alcune pagine, impedisci l’accesso allo user-agent Googlebot; in questo modo impedirai l’accesso anche a tutti gli altri user-agent di Google.

Se, però, desideri avere un controllo più preciso, puoi. Ad esempio, è possibile che tu voglia che vengano visualizzate tutte le tue pagine nella Ricerca Google, ma evitare che le immagini presenti nella tua directory personale vengano sottoposte a scansione. In questo caso, utilizza il file robots.txt per impedire allo user-agent Googlebot-image di eseguire la scansione dei file presenti nella tua directory /personal (consentendo però a Googlebot di eseguire la scansione di tutti i file), nel seguente modo:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Per fare un altro esempio, supponiamo che desideri mostrare annunci in tutte le tue pagine ma preferisci che tali pagine non vengano visualizzate nella Ricerca Google. In questo caso dovresti bloccare Googlebot ma consentire Mediapartners-Google, nel seguente modo:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Alcune pagine utilizzano diversi meta tag robots per specificare istruzioni per crawler differenti, nel seguente modo:

<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">

In questo caso Google utilizzerà la somma delle istruzioni negative e Googlebot seguirà entrambe le istruzioni noindex e nofollow.

Come cambiare User-Agent a Google Chrome

Puoi testare le tue pagine usando diversi User-Agent direttamente con Google Chrome cambiando le impostazioni dentro Altri strumenti >> Strumenti per Sviluppatori:

Come cambiare User-Agent con Google Chrome
Come cambiare User-Agent con Google Chrome

Articoli correlati

Autore

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Ultimi articoli aggiornati

Richiedi un preventivo SEO e Google Ads

Porta il tuo sito web al livello successivo con l’expertise di EVE Milano. La nostra agenzia di Search Marketing ha ricevuto oltre 1123 richieste di preventivo, un segnale chiaro della fiducia che imprenditori e manager, come te, ripongono nella nostra specializzazione tecnica e verticale nella SEO e PPC. Se la tua organizzazione cerca competenze specifiche per emergere nei risultati di Google, noi siamo pronti a fornire quel valore aggiunto. Affidati alla nostra esperienza per fare la differenza.
Richiedi un preventivo

Non perderti altre guide, iscriviti per ricevere un avviso mensile con gli aggiornamenti del blog!

Iscriviti alla newsletter!

Informativa sui cookies

Noi e terze parti selezionate utilizziamo cookie o tecnologie simili per finalità tecniche e, con il tuo consenso, anche per le finalità di esperienza e misurazione come specificato nella cookie policy. Puoi liberamente prestare, rifiutare o revocare il tuo consenso, in qualsiasi momento, accedendo al pannello delle preferenze. Il rifiuto del consenso può rendere non disponibili le relative funzioni. Usa il pulsante “Accetta” per acconsentire. Usa il pulsante “Rifiuta” per continuare senza accettare.