Cos’è Googlebot?

 

Ogni volta che pensiamo a Googlebot, vediamo un robot carino e intelligente simile a Wall-E che sgasa alla ricerca e indicizzazione della conoscenza in tutti gli angoli di mondi ancora sconosciuti. È sempre un po ‘deludente ricordare che Googlebot è “solo” un programma per computer scritto da Google che esegue la scansione del Web e aggiunge pagine al suo indice. Qui ti presenteremo il crawler e ti mostreremo cosa fa.

Googlebot? Web crawler? Spider? Eh?

Tutti questi termini significano la stessa cosa: è un bot che esegue la scansione del Web.

Googlebot esegue la scansione delle pagine web tramite link. Trova e legge contenuti nuovi e aggiornati e suggerisce cosa aggiungere all’index. L’index, ovviamente, è il cervello di Google. Qui è dove risiede tutta la conoscenza. Google utilizza un sacco di computer per inviare i propri crawler in ogni angolo del Web, per trovare queste pagine e per vedere cosa contengono. Googlebot è il crawler web o robot di Google e altri motori di ricerca ne hanno uno proprio.

Come funziona Googlebot?

Googlebot utilizza le mappe dei siti e i database dei link scoperti durante le scansioni precedenti per determinare dove andare dopo. Ogni volta che il crawler trova nuovi collegamenti su un sito, li aggiunge all’elenco delle pagine da visitare successivamente.

Se Googlebot rileva modifiche nei collegamenti o collegamenti interrotti, ne prenderà nota in modo che l’index possa essere aggiornato. Il programma determina la frequenza con cui sottoporrà a scansione le pagine. Per assicurarti che Googlebot possa indicizzare correttamente il tuo sito, devi verificarne la scansione. Se il tuo sito è disponibile per i crawler, questi passano spesso.

Robot diversi

Esistono diversi robot. Ad esempio, AdSense e AdsBot controllano la qualità degli annunci, mentre le app per dispositivi mobili Android controllano le app Android. Per noi questi sono i più importanti:

In che modo Googlebot visita il tuo sito

Per scoprire la frequenza con cui Googlebot visita il tuo sito e cosa fa lì, puoi immergerti nei tuoi file di registro o aprire la sezione Scansione di Google Search Console. Se vuoi fare cose davvero avanzate per ottimizzare le prestazioni di scansione del tuo sito, puoi utilizzare strumenti come Kibana o SEO Log File Analyzer di Screaming Frog.

Google non condivide elenchi di indirizzi IP che i vari Googlebot utilizzano poiché questi indirizzi cambiano spesso. Per scoprire se un vero Googlebot visita il tuo sito, puoi eseguire una ricerca IP inversa.

Spammer o Fake possono facilmente falsificare il nome di un agente utente, ma non un indirizzo IP. Ecco l’esempio di Google per verificare la validità di un Googlebot.

Puoi utilizzare il file robots.txt per determinare in che modo Googlebot visiterà – parti del – tuo sito. Attenzione però, se lo fai nel modo sbagliato, potresti impedire a Googlebot di passare del tutto sul tuo sito. Questo eliminerà il tuo sito sito web dall’index. Esistono modi migliori per impedire che il tuo sito venga indicizzato.

Google Search Console

Search Console è uno degli strumenti più importanti per controllare la possibilità di scansione del tuo sito. Qui puoi verificare come Googlebot vede il tuo sito. Riceverai anche un elenco di errori di scansione da correggere. In Search Console, puoi anche chiedere a Googlebot di ripetere la scansione del tuo sito.

 

Leggi la Guida Search Console per Principianti

 

Ottimizza per Googlebot

Fare in modo che Googlebot esegua la scansione del tuo sito più velocemente è un processo abbastanza tecnico che si riduce all’abbattimento delle barriere tecniche che impediscono al crawler di accedere correttamente al tuo sito. È un processo abbastanza tecnico, ma dovresti fare di tutto per familiarizzare con esso. Se Google non è in grado di eseguire la scansione del tuo sito perfettamente, non potrà mai posizionarlo per te. Trova quegli errori e correggili!

Conclusione

Googlebot è il piccolo robot che visita il tuo sito. Se hai fatto scelte tecnicamente valide per il tuo sito, passerà più spesso. Se aggiungi regolarmente nuovi contenuti, arriverà più spesso. Ogni volta che apporti modifiche su larga scala al tuo sito, potresti dover chiamare il simpatico crawler(o Bot), in modo che le modifiche possano riflettersi nei risultati di ricerca il prima possibile.