Crawl budget
Il crawl budget è la frequenza di scansione di un sito da parte del bot del motore di ricerca in un giorno, settimana o in un mese. In pratica, è la quantità di pagine di un sito web scansionate dal search engine.
Esempio. Se un sito ha un crawl budget giornaliero pari a 100, il bot (spider) del motore di ricerca visita 100 pagine del sito al giorno. Non una di più.
Qual è il crawl budget di un sito?
E' un limite assegnato dal search engine a ciascun sito. Quindi, ogni sito web ha un proprio crawl budget.
Generalmente, i siti più autorevole e popolari, con un'elevata freschezza di contenuti, hanno un crawl budget più alto.
Viceversa, i siti poco autorevoli, sconosciuti e statici, hanno un crawl budget più basso.
Come influisce il crawl budget sulla SEO
Dal crawl budget dipende la frequenza dei passaggi dello spider sul sito.
Se il crawl budget è molto basso, i crawler navigano raramente sul sito web.
Pertanto, l'indicizzazione delle nuove pagine web e dei nuovi contenuti sul search engine richiede più tempo.
E' più lenta anche l'indicizzazione delle modifiche apportate ai contenuti delle pagine già indicizzate.
Come vedere il crawl budget di un sito
Per quanto riguarda Google, posso vedere il crawl budget di un sito web tramite la Search Console.
Clicco sulla voce Scansione nel menu a sinistra.
Poi seleziono Statistiche di Scansione.
La Search Console mostra le statistiche di scansione sul sito.
- Le pagine viste dal bot
- I kilobyte scaricati giornalmente
- Il tempo trascorso per il download della pagina in millisecondi.
Sono informazioni particolarmente utili.
Nota. Un picco anomalo di frequenza è spesso indice di un upgrade dell'algoritmo di Google o di una verifica approfondita sui contenuti del sito. A volte precede un netto peggioramento o miglioramento del posizionamento del sito web.
Come ottimizzare il crawl budget
Il crawl budget è deciso dal motore di ricerca ( Google ).
Posso ridurre volontariamente la frequenza del crawl budget sul sito web tramite le Impostazioni sito della Search Console di Google ma non posso aumentarlo.
Pertanto, è opportuno gestire con attenzione il crawl budget.
Come si ottimizza?
Si ottimizza con un'organizzazione efficiente dei link interni del sito ( link juice ).
I crawler del search engine visitano un sito web tramite i link.
Quindi, le pagine più linkate dalle altre, quelle più vicine alla home page o più linkate dall'esterno sono visitate più di frequente dal crawler.
Nota. Una cattiva organizzazione dei link interni ( interlink ) spreca inutilmente il crawl budget del sito, perché il crawler tenderà a visitare con più frequenza le pagine del website meno importanti o inutili, ritardando l’indicizzazione di quelle più importanti.
E' anche utile impedire il passaggio dello spider sulle pagine e cartelle non importanti del sito tramite il file robots.txt.
