La deindicizzazione
La deindicizzazione è l'operazione per impedire ai search engine l'indicizzazione di una pagina web o di una risorsa online di un sito web. E' l'operazione inversa dell'indicizzazione.
A cosa serve la deindicizzazione
Questa tecnica è usata anche per impedire ai crawler dei motori di ricerca di scansionare e indicizzare il contenuto di un documento ed eventualmente rimuovere dai risultati ( Serp ) quelle risorse già indicizzate in passato.
Come deindicizzare una risorsa online
La deindicizzazione può essere effettuata seguendo due strade diverse:
- Metatag Robots. Questa tecnica si utilizza all'interno delle pagine web. Consente di deindicizzare un singolo documento. Consiste nell'inserimento del metatag Robots con il valore "noindex" nella sezione Head del documento Html.
- Robots.txt. Questa tecnica è utilizzata per deindicizzare un'intera cartella del sito web e tutte le risorse contenute al suo interno. E' utile per impedire l'indicizzazione in blocco su molte pagine web e sulle risorse diverse dai documenti Html, come i file delle immagini o multimediali, i database, le aree riservate del sito, ecc.
Perché rimuovere una pagina dai motori di ricerca?
Potrebbe sembrare un'operazione illogica ma, in realtà, la rimozione di alcuni documenti dal search engine è una tecnica di ottimizzazione SEO del sito web.
Nella lista che segue sono indicate le ragioni più frequenti:
- Contenuti duplicati. Se due o più pagine hanno gli stessi contenuti, è preferibile lasciarne soltanto una indicizzata. Questo per evitare che il search engine penalizzi la pagina o l'intero sito per spam-engine.
- Contenuti irrilevanti. Il search engine potrebbe dare importanza alle pagine irrilevanti del sito. Impedendo la loro indicizzazione si elimina il problema.
Esempio. La pagina del disclaimer o quella delle note legali sono linkate da tutte le pagine del sito in modo site-wide. Tuttavia, sono pagine di servizio irrilevanti per l'attività di business. Vedendo molti link interni in entrata su queste pagine, il search engine potrebbe attribuire loro un'importanza eccessiva a scapito di quelle più rilevanti del sito, dove sono esposti i servizi o i prodotti. Deindicizzando le pagine privacy e note legali, queste restano sempre visibili agli utenti ma non sono più prese in considerazione dai search engine.
- Contenuti non pertinenti. Secondo alcune euristiche della Seo semantica, l'ottimizzazione di un sito su un particolare argomento è più forte se il campo semantico della collezione delle pagine che lo compone è concentrato su un tema. La presenza di documenti off-topic ( fuori tema ) potrebbe pregiudicare l'associazione tra il sito e le principali entità di riferimento.
