Robots.txt per WordPress

Ecco il file robots.txt per un blog WordPress efficace. Stai per scaricare e scopri come creare un file robots.txt per una SEO ottimale.

Cosa è e a cosa serve il robots.txt?

Devi sapere che WordPress contiene migliaia di files al suo interno e sarebbe inutile consentire a Google di indicizzare tutti questi percorsi perché non offrono contenuti interessanti per il tuo pubblico.

D’altra parte potresti avere nel tuo blog delle aree o files che desideri mantenere privati e non liberamente accessibili da chiunque.

Per rispondere a queste esigenze è nato un apposito file testuale chiamato robots.txt che da istruzioni ben precise ai bot dei motori di ricerca su quali percorsi possono effettuare operazioni di crawling per poi indicizzarli.

Come creare e dove caricare robots.txt?

Puoi usare un qualsiasi text editor, come Blocco Note e incollare le istruzioni che saranno riportate di seguito.

Dopo aver inserito questi dettagli testuali, dovrai salvare il file in formato .txt e caricarlo tramite FTP nella root o cartella /public_html/ del tuo blog, ossia allo stesso livello dove è installato WordPress.

Esempio di Robots.txt senza restrizioni

Nel seguente esempio, le istruzioni indicano ai bot che possono liberamente indicizzare tutte le pagine e percorsi che trovano all’interno del sito.

Crea il tuo sito in 9 minuti

La nostra guida completa per creare il tuo sito WordPress dalla A alla Z in 9 minuti senza essere un esperto.

➤ Vai alla guida

User-agent: *
Disallow:

Esempio di Robots.txt con limitazioni

Se invece preferisci rendere privata una determinata cartella o una pagina allora utilizza il seguente file.

User-agent: *
Disallow: /pagina.html
Disallow: /album-privati/

Robots.txt per WordPress

Il classico robots.txt per un blog WordPress è sempre stato il seguente.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

A differenza di quanto si faceva e consigliava fino a pochi anni fa, oggi Googlebot è in grado di leggere e interpretare anche il codice Javascript e il linguaggio CSS.

Per questo motivo se disabiliti l’accesso a cartelle di WordPress come /wp-content/ oppure /wp-includes/ succederebbe che Google non potrà accedere a risorse fondamentali per renderizzare correttamente la pagina.

Come verificare la correttezza sintattica

Per avere il file robots.txt perfetto dovrai usare la funzionalità Fetch as Google all’interno della Search Console.

fetch google

Con il bottone Render visualizzerai la pagina esattamente così come viene vista dal motore di ricerca seguendo l’attuale configurazione del file robots.txt del tuo sito.

Man mano che fai le modifiche ed escludi percorsi, usando questo tool puoi immediatamente verificare se nascono problemi di visualizzazione.

Un’altra funzione interessante è l’analisi sintattica in tempo reale che trovi in Crawl > robots.txt Tester nella Search Console.

robots tester

Da questo pannello puoi richiedere a Google di accedere al file e mostrarti eventuali errori di sintassi o di accesso.

Infine, ricorda che se preferisci non usare un file di testo ma non consentire a Google di indicizzare un determinato percorso puoi usare il meta tag robots nella sezione head della pagina.

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Con queste istruzioni, il motore di ricerca non potrà indicizzare la pagina e non seguirà nemmeno i link contenuti in essa.

Perché non condividi questo articolo? Grazie!

The following two tabs change content below.

Federico Magni

Ciao, sono Federico Magni e mi occupo di WordPress dal 2007. Vorrei offrirti risorse gratuite e consigli pratici per rendere più efficace il tuo sito e ottenere i risultati che ti meriti in termini di visite, vendite e iscritti.

Altri articoli di Federico Magni (vedi tutti)