Se stai cercando di
indicizzare un sito web nuovo o
migliorare il tuo posizionamento su Google, probabilmente ti sarai reso conto - dopo una serie di tentativi non andati esattamente come speravi - che l’
indicizzazione delle nuove pagine non è così automatica e
non avviene in tempo reale. Questo succede perché
Google ha a disposizione risorse limitate e
deve impiegarle per scansionare continuamente il web e
proporre agli utenti contenuti sempre aggiornati, utili e pertinenti.
In questo articolo approfondiamo il significato del termine
crawl budget e cerchiamo di fare luce su questo importante argomento, in modo da imparare
come interagire in modo efficiente con il motore di ricerca e
impiegare al meglio le risorse a disposizione del crawler. Se sei pronto,
iniziamo subito.
Come funziona il crawler di Google
Per offrire una serie di contenuti che rispondano alle domande degli utenti,
Google deve essere sempre aggiornato rispetto a ciò che è presente nella rete. Per ottenere questo ambizioso risultato, il motore di ricerca fa utilizzo di un
crawler, definito
Googlebot, che
si occupa di percorrere continuamente i link presenti sul web,
scansionare le pagine nuove e
visualizzare gli aggiornamenti delle pagine già scansionate.
Bisogna però fare attenzione:
non tutte le pagine che vengono scansionate da Google sono automaticamente indicizzate; non vengono, perciò, automaticamente visualizzate in
SERP, ovvero nella pagina dei risultati di Google.
L’
indicizzazione della pagina, infatti,
dipende da molti fattori, non tutti conosciuti. È interesse di Google, infatti, tenere il massimo riserbo sui criteri di indicizzazione delle sue pagine, in modo da proteggersi da attività di spam e mantenere i risultati di ricerca quanto più imparziali e, perciò, pertinenti e utili per l’utente. Quello che possiamo dirti, però, è che
tra le pagine che vengono indicizzate ci sono quelle più uniche e originali, quelle che, agli occhi di Google,
hanno una maggiore utilità per l’utente e che
provengono da siti con una buona autority.
Se ti stai chiedendo se c’è un
metodo sicuro per far indicizzare le proprie pagine da Google, ci dispiace dirti che purtroppo
questo non è possibile: l’algoritmo fa un po’ quello che vuole lui, e anche in questo risiede l’efficienza del servizio Google. Possiamo, però,
indicare al crawler quali pagine vogliamo siano scansionate e
ottimizzare le nostre pagine perché siano posizionate in SERP, portando avanti una serie di azioni che sul lungo periodo non possono che generare risultati positivi per il tuo business.
Possiamo dirti anche che, una volta che la pagina è stata
scansionata da Google, ci sono buone probabilità che venga
indicizzata. Raggiungere questo risultato è sempre positivo: significa che, in base alla pertinenza, alla completezza, all’originalità della pagina, anche tenendo in considerazione la concorrenza e l’autority del sito,
la pagina viene giudicata come utile da Google, e viene perciò
assegnata a una determinata posizione in SERP.
Vediamo adesso
cos’è il crawl budget e
in che modo incide sulla possibilità che le tue pagine possano essere indicizzate da Google.
Cos’è il crawl budget
Come abbiamo detto,
il tempo che Google può investire nella scansione del tuo sito non è illimitato. Le
risorse che sono
impiegate per la scansione di un sito web sono definite
crawl budget, e variano in base a diversi fattori, tra cui l’autority e il tasso di aggiornamento del tuo sito web.
Secondo una
definizione più precisa, fornita proprio da Google, il
crawl budget è
"il numero di URL che Googlebot può e vuole sottoporre a scansione". Ne consegue, perciò, che il crawler di Google non ha interesse a sottoporre a scansione tutto quello che viene caricato in rete ogni giorno, ma solo i
contenuti che portano valore agli utenti e
aggiungono qualcosa alla SERP.
Dovrei preoccuparmi del crawl budget?
Se sei un
sito web di grandi dimensioni, e hai perciò
qualche migliaio di pagine, soprattutto
auto-generate (come nel caso di
configuratori ed
e-commerce), i limiti di
crawl rate (velocità delle scansioni da parte degli spider di Google) e
crawl demand (frequenza con cui vengono effettuate le scansioni) possono rappresentare
un vero problema per te. In quel caso, è opportuno
selezionare le pagine significative del proprio sito web e
indicare a Googlebot quali pagine vogliamo siano indicizzate (vedremo i metodi per farlo più avanti nell’articolo).
Allo stesso modo, però, anche i
siti più piccoli dovrebbero preoccuparsi di ottimizzare il proprio
crawl budget, in quanto far sottoporre alla scansione di Google
pagine poco pertinenti può
togliere spazio alla scansione delle pagine più interessanti del tuo sito web. Addirittura, se queste pagine sono dannose per l’esperienza dell’utente, ed hanno un
click-through rate scarso, possono portare a un
abbassamento dell’autority del tuo sito internet, facendo calare le tue performance SEO.
Come verificare quanto crawl budget abbiamo a disposizione
Attraverso il rapporto "
Statistiche di scansione", disponibile in
Search Console alla voce
Impostazioni, è possibile conoscere
quante sono le richieste di scansione del sito in un intervallo di tempo definito.
Più è alto il valore delle richieste di scansione, meglio è. Significa che si è registrato un buon numero di scansioni del tuo sito e questo è sempre un buon segnale. Dei picchi nelle richieste di scansione significano che c’è un aumento di interesse del crawler di Google nei confronti delle tue pagine, che vengono scansionate con maggiore frequenza.
Se vuoi approfondire, in questa sezione puoi trovare anche i dati delle richieste di scansione suddivisi in base alla
risposta restituita dal server, oppure per
tipo di file scaricato, per
finalità della scansione (aggiornamento pagina già scansionata, rilevamento nuova pagina) e
tipo di Googlebot impiegato (smartphone, desktop, etc.).
All’interno dell’interfaccia delle Statistiche di scansione, inoltre, puoi vedere la
quantità di risorse scaricate dal crawler e il
tempo medio di risposta delle tue pagine. È buona cosa tenere costantemente monitorati anche questi valori, in quanto influiscono sulle tue possibilità di indicizzazione.
Come ottimizzare il proprio crawl budget
Ti sarà chiaro, a questo punto, che
il crawl budget è una risorsa da non sprecare. L’obiettivo che devi avere in mente, infatti, è quello di
impedire la scansione delle pagine che non producono valore, che non sono intese per essere posizionate per determinate keyword, e
far emergere quelle che hanno qualità per l’utente e che
possono produrre interazioni significative per il tuo business.Per
ottimizzare il tuo crawl budget puoi utilizzare
questi metodi:
- Utilizzare la sitemap.xml per comunicare a Google in maniera univoca quali pagine vuoi che siano scansionate;
- Utilizzare il file robots.txt per indicare a Google quali pagine escludere dalla scansione. Google ha confermato che le pagine non consentite nel file robots non influiscono sul budget di scansione;
- Fare in modo che le pagine abbiano caricamenti veloci (HTML ottimizzato e file compressi) e che non restituiscano errori 404 o errori del server;
- Inserire link interni, facendo in modo che il crawler non arrivi mai a vicoli ciechi ma sia portato a scansionare ulteriormente (ovviamente dobbiamo pensare in primis agli utenti: gli URL devono avere senso relativamente al contenuto della pagina e offrire valore aggiuntivo);
- Fare un corretto utilizzo dei rel canonical per evitare pagine duplicate.
Bisogna poi considerare che un sito web in salute, se viene aggiornato con frequenza, di solito vede
aumentare il proprio crawl budget, o comunque non subisce penalizzazioni da questo punto di vista. A questo proposito, è bene ricordarsi dell’importanza di una
strategia di backlink, della creazione di
contenuti sempre utili e pertinenti, ma anche dell’ottimizzazione dell’esperienza di utilizzo e dell’
interfaccia mobile friendly, che incidono altamente sulle prestazioni SEO del sito web, soprattutto dopo l’aggiornamento
Google Page Experience.
Le
pagine più popolari, secondo
quanto riferito proprio da Google relativamente al budget di scansione,
vengono scansionate con maggiore frequenza.
Considerazioni finali
L’
ottimizzazione del crawl budget è un
aspetto tecnico che, a meno di siti con un numero molto elevato di link,
non dovrebbe incidere sul ranking del proprio sito web. Tuttavia, la sua ottimizzazione permette agli utenti di
arrivare ai contenuti più significativi del sito e realizzare, perciò,
un numero maggiore di conversioni. In considerazione di ciò, è importante mantenere la struttura del proprio sito web quanto più pulita e far indicizzare solo le pagine che hanno significato per l’utente e per noi.
Ora che hai imparato
cos’è il crawl budget e come ottimizzarlo, perché non approfondisci altri argomenti legati alla
SEO? Nel nostro
blog trovi molti spunti interessanti pensati apposta per attività che vogliono affermarsi e crescere con il digital. Se vuoi
ottenere ancora di più, noi
siamo a tua disposizione per individuare e mettere in atto una
strategia di web marketing efficace e ottenere
risultati concreti per il tuo business.
Contattaci
