{"id":17924,"date":"2020-01-16T09:00:12","date_gmt":"2020-01-16T08:00:12","guid":{"rendered":"https:\/\/www.antevenio.com\/it\/?p=17924"},"modified":"2020-01-15T13:04:42","modified_gmt":"2020-01-15T12:04:42","slug":"file-robots-txt-per-migliorare-la-seo-del-tuo-sito-web","status":"publish","type":"post","link":"https:\/\/www.antevenio.com\/it\/blog\/file-robots-txt-per-migliorare-la-seo-del-tuo-sito-web\/","title":{"rendered":"File Robots.txt per migliorare la SEO del tuo sito web"},"content":{"rendered":"

\"\"<\/p>\n

Sai come usare i file Robots.txt per migliorare la SEO del tuo sito web? La stragrande maggioranza degli utenti di Internet utilizza Google quasi ogni giorno. Devono solo eseguire una ricerca e possono accedere a migliaia di fonti di informazioni. Ma come funzionano i motori di ricerca? Che cosa ha a che fare il file Robots.txt con le pagine di indicizzazione?<\/p>\n

Qui la tecnologia dei motori di ricerca ha molto a che fare con questo. I robot sono responsabili del monitoraggio e dell’indicizzazione della maggior quantit\u00e0 di informazioni sulle pagine Web in modo che siano disponibili per gli utenti. Sebbene questa sia la loro funzione principale, i robot ne hanno molte altre. Ad esempio, gli spammer li usano per ottenere e-mail<\/a> monitorando le pagine di contatto dei siti Web.<\/p>\n

Allo stesso modo, vengono spesso utilizzati per individuare siti in XML o bloccare l’accesso a directory o file di codice. In ogni caso, questa tecnologia consente una migliore organizzazione dei contenuti Internet e una maggiore facilit\u00e0 di accesso ad essi.<\/p>\n

Se vuoi che questi robot scansionino facilmente il tuo sito Web e ottengano le informazioni migliori<\/strong>, la cosa migliore che puoi fare \u00e8 utilizzare i file Robots.txt per migliorare la SEO del tuo sito web.<\/p>\n

Qual \u00e8 il file Robots.txt?<\/h2>\n

\u00c8 fondamentalmente un file di testo semplice ospitato nella directory principale di un web.<\/strong> La sua funzione principale \u00e8 quella di impedire ai robot di determinati motori di ricerca di tracciare determinati contenuti che il webmaster non desidera essere indicizzati o visualizzati nei risultati.<\/p>\n

Cio\u00e8, \u00e8 un file pubblico con estensione .txt che avvisa i crawler dei robot dove possono e non possono entrare in un web<\/strong>. In questo modo, puoi facilmente specificare directory, sottodirectory, URL o file che non desideri siano rilevati.<\/p>\n

Ma quali sono gli elementi che il file robots.txt \u00e8 in grado di indicizzare o no? \u00c8 interessante sapere quali elementi possono essere raccolti in questi file, nonch\u00e9 quali sono i comandi pi\u00f9 comunemente usati.<\/p>\n

Come funziona il file Robots.txt<\/h2>\n

\"\"<\/p>\n

Il funzionamento dei file Robots.txt per migliorare la SEO del tuo sito Web \u00e8 molto semplice. Quando crei una pagina web, tieni presente che Google e i vari crawler la esamineranno in un determinato momento per posizionarla.<\/p>\n

Pertanto, \u00e8 essenziale creare un file di testo all’interno del dominio per raccogliere in esso tutte le informazioni sulla pagina che ti interessa che Google conosca.<\/strong><\/p>\n

Ma serve anche a limitare l’accesso dei tracker ad altri tipi di informazioni. In parole di Google: “Un file robots.txt \u00e8 un file che si trova nella radice di un sito e indica a quali parti non si desidera siano rilevate dai crawler dei motori di ricerca<\/em>“.<\/p>\n

Cio\u00e8, quando i robot di Google vanno a eseguire la scansione di un Web, la prima cosa che fanno \u00e8 andare al file Robots.txt<\/strong>. Quindi, eseguiranno la scansione della pagina in base con i criteri specificati nel documento di testo.<\/p>\n

Tieni presente che queste istruzioni non sono ordini ma una sorta di linee guida. I bot di Google possono, in qualsiasi momento, decidere di saltare una parte di queste direttive. Anche se \u00e8 normale che i motori di ricerca rispettino i file Robots.txt.<\/p>\n

Crea un file robots.txt<\/h2>\n

Per utilizzare i file Robots.txt per migliorare la SEO<\/a> del tuo sito Web dovrai accedere alla directory principale del tuo dominio. Dovrai solo caricare il file in formato testo in modo che i motori di ricerca inizino ad accedervi.<\/p>\n

Tuttavia, prima di dover scrivere un’intera serie di direttive e comandi in quel documento<\/strong>, sai quali sono gli elementi principali che compongono questo file e a cosa servono?<\/p>\n

1.- User-agent<\/h3>\n

L’agente utente \u00e8 l’identificatore dei robot di ciascun motore di ricerca.<\/strong> Ad esempio, gli spider di Google sono identificati come Googlebot. Allo stesso modo, i robot di Yahoo sono noti come Slurp e quelli di Bing sarebbero Bingbot.<\/p>\n

Nel file Robots.txt vengono utilizzati per indicare a ciascun agente utente un gruppo di direttive. In questo modo, tutte le linee guida tra il primo e il secondo user-agent sono indirizzate al primo. Pertanto, le istruzioni possono essere indirizzate a diversi user-agent o essere applicate a tutti.<\/p>\n

Se vuoi che tutti i motori di ricerca seguano il tuo sito web allo stesso modo, ti baster\u00e0 utilizzare il comando “User-agent: *<\/strong>“. Quando si utilizza questa regola non \u00e8 necessario scrivere direttive per ognuno.<\/p>\n

2.- Non consentire l\u2019accesso<\/h3>\n

\"\"<\/p>\n

La direttiva Disallow \u00e8 esattamente quella utilizzata per dire ai crawler di non accedere a determinate parti del contenuto<\/strong> web. Per essere preso in considerazione, \u00e8 necessario rilevare il percorso verso il quale non \u00e8 possibile accedere. Se non si include il percorso specifico, la direttiva Disallow verr\u00e0 ignorata e i robot accederanno all’intera directory.<\/p>\n

3.- Consenti l\u2019accesso<\/h3>\n

Questa direttiva \u00e8 quella utilizzata per contrastare il Disallow.<\/strong> Cio\u00e8, \u00e8 un modo per dire ai tracker di visionare una parte o una pagina specifica della directory che altrimenti non sarebbero visitabili.<\/p>\n

4.- Mappa del sito<\/h3>\n

\"\"<\/p>\n

La mappa del sito \u00e8 un altro elemento che dovrebbe essere raccolto dai file Robots.txt per migliorare la SEO del tuo sito web. \u00c8 un elenco in cui compaiono tutti gli URL che compongono il sito, ed \u00e8 il primo elemento che i motori di ricerca tracceranno durante l’accesso per comprendere la struttura delle pagine.<\/p>\n

5.- Ritardo scansione<\/h3>\n

Questa direttiva viene normalmente utilizzata per impedire il sovraccarico dei server che hanno troppe richieste<\/strong>. Tuttavia, includere il crawl-delay nel file Robots.txt \u00e8 semplicemente una soluzione temporanea. Se il tuo sito \u00e8 generalmente sovraccarico, \u00e8 a causa di un hosting di scarsa qualit\u00e0 o scarsa configurazione della pagina.<\/p>\n

Nonostante ci\u00f2, dovresti sapere che il crawl-delay non \u00e8 compatibile con Google, quindi non ti aiuter\u00e0 a includerlo nei file Robots.txt per migliorare la SEO del tuo sito web. Per il resto dei motori di ricerca, tutti lo interpretano in modo diverso, quindi sarebbe necessario stabilire direttive personalizzate.<\/p>\n

In che modo i file Robots.txt possono aiutarti a migliorare il tuo SEO web<\/h2>\n

\"\"<\/p>\n

A causa del suo ruolo importante nell\u2019indicizzazione, i file Robots.txt sono molto utili per migliorare la SEO del tuo sito web. Puoi indicare ai motori di ricerca di indicare il modo migliore per tracciare il tuo sito web<\/strong>. Ed \u00e8 qualcosa che puoi usare senza dubbio per migliorare il SEO della tua pagina.<\/p>\n

La lettura del tuo sito Web verr\u00e0 eseguita in modo molto pi\u00f9 efficiente. Puoi includere direttive per impedire ai crawler di accedere a determinate parti del tuo sito web. Questo \u00e8 uno dei modi migliori per evitare contenuti duplicati, ad esempio.<\/p>\n

Anche se \u00e8 meglio prestare attenzione a questo aspetto, poich\u00e9 pu\u00f2 anche rendere inaccessibili ai motori di ricerca alcune pagine del tuo sito<\/strong>. Pertanto, si consiglia di bloccare l’accesso alle pagine che i motori di ricerca non dovrebbero mai vedere, comprese le aree di accesso con URL o pagine di test diversi.<\/p>\n

A.- Aumenta le visite al tuo sito web<\/h3>\n

Ricorda che stai aiutando i motori di ricerca a indicizzare la tua pagina in modo pi\u00f9 efficace.<\/p>\n

I crawler passano attraverso il web indicizzando tutto il contenuto disponibile. E questi file funzionano principalmente con le regole di accesso e di limitazione dell’accesso<\/strong>. Il motivo \u00e8 che se queste linee guida non esistono, i robot comprendono che devono analizzare tutte le pagine di un sito.<\/p>\n

Tuttavia, \u00e8 possibile limitare l’accesso alle pagine non pertinenti alla propria strategia<\/strong>. In questo modo, contribuirai a evitare che il tuo server venga sopraffatto dai risultati dei motori di ricerca, il che alla fine si traduce in tempi di caricamento<\/a> pi\u00f9 lunghi o blocchi temporanei del sito.<\/p>\n

B.- Elimina contenuti duplicati<\/h3>\n

Inoltre, questo protocollo di esclusione dei robot<\/em> \u00e8 molto efficace per evitare contenuti duplicati<\/strong>. Quest’ultimo pu\u00f2 influire negativamente sul posizionamento organico di una pagina e i motori di ricerca possono penalizzarti<\/strong> in diversi modi:<\/p>\n