Robots.txt

Analizzando le statistiche di scansione di Google Search Console oppure leggendo il log del web server ti sei accorto che Googlebot perde tempo scansionando link tecnici che non dovrebbe seguire? A volte Googlebot scansiona URL che non è ...

Cos'è il robots.txt Un robot.txt indica ai crawler dei motori di ricerca quali pagine o file il crawler può o non può richiedere al tuo sito. Viene utilizzato principalmente per evitare di sovraccaricare il tuo sito di richieste; non è ...

Da quando ho pubblicato questa guida sul Robots.txt nel 2014 ho aggiornato diverse volte il contenuto, inserendo teoria ed esempi da casi pratici. Spero possa essere utile a chi incontra per la prima volta questo famoso file. Nel 2014 il ...

Molti crawler supportano la direttiva "Crawl-delay" la quale imposta il numero di secondi che i bot e crawler dei motori di ricerca (e non solo) devono attendere prima di effettuare la richiesta successiva al web server. Il parametro ...

Il vostro web server è assediato da bot? La banda disponibile è occupata per metà da intrusi indesiderati? Allora non vi resta che costruire un bel file robots.txt per cercare di ridurre al minimo gli accessi a spider non ...