Ecco il file robots.txt per un blog WordPress efficace. Stai per scaricare e scopri come creare un file robots.txt per una SEO ottimale.
Cosa è e a cosa serve il robots.txt?
Devi sapere che WordPress contiene migliaia di files al suo interno e sarebbe inutile consentire a Google di indicizzare tutti questi percorsi perché non offrono contenuti interessanti per il tuo pubblico.
D’altra parte potresti avere nel tuo blog delle aree o files che desideri mantenere privati e non liberamente accessibili da chiunque.
Per rispondere a queste esigenze è nato un apposito file testuale chiamato robots.txt che da istruzioni ben precise ai bot dei motori di ricerca su quali percorsi possono effettuare operazioni di crawling per poi indicizzarli.
Come creare e dove caricare robots.txt?
Puoi usare un qualsiasi text editor, come Blocco Note e incollare le istruzioni che saranno riportate di seguito.
Dopo aver inserito questi dettagli testuali, dovrai salvare il file in formato .txt e caricarlo tramite FTP nella root o cartella /public_html/ del tuo blog, ossia allo stesso livello dove è installato WordPress.
Esempio di Robots.txt senza restrizioni
Nel seguente esempio, le istruzioni indicano ai bot che possono liberamente indicizzare tutte le pagine e percorsi che trovano all’interno del sito.
Crea il tuo sito in 9 minuti
La nostra guida completa per creare il tuo sito WordPress dalla A alla Z in 9 minuti senza essere un esperto.
User-agent: * Disallow:
Esempio di Robots.txt con limitazioni
Se invece preferisci rendere privata una determinata cartella o una pagina allora utilizza il seguente file.
User-agent: * Disallow: /pagina.html Disallow: /album-privati/
Robots.txt per WordPress
Il classico robots.txt per un blog WordPress è sempre stato il seguente.
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/
A differenza di quanto si faceva e consigliava fino a pochi anni fa, oggi Googlebot è in grado di leggere e interpretare anche il codice Javascript e il linguaggio CSS.
Per questo motivo se disabiliti l’accesso a cartelle di WordPress come /wp-content/ oppure /wp-includes/ succederebbe che Google non potrà accedere a risorse fondamentali per renderizzare correttamente la pagina.
Come verificare la correttezza sintattica
Per avere il file robots.txt perfetto dovrai usare la funzionalità Fetch as Google all’interno della Search Console.
Con il bottone Render visualizzerai la pagina esattamente così come viene vista dal motore di ricerca seguendo l’attuale configurazione del file robots.txt del tuo sito.
Man mano che fai le modifiche ed escludi percorsi, usando questo tool puoi immediatamente verificare se nascono problemi di visualizzazione.
Un’altra funzione interessante è l’analisi sintattica in tempo reale che trovi in Crawl > robots.txt Tester nella Search Console.
Da questo pannello puoi richiedere a Google di accedere al file e mostrarti eventuali errori di sintassi o di accesso.
Infine, ricorda che se preferisci non usare un file di testo ma non consentire a Google di indicizzare un determinato percorso puoi usare il meta tag robots nella sezione head della pagina.
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Con queste istruzioni, il motore di ricerca non potrà indicizzare la pagina e non seguirà nemmeno i link contenuti in essa.
Federico Magni
Altri articoli di Federico Magni (vedi tutti)
- Strumenti SEO – Migliori SEO Tools 2019 - 30 luglio 2019
- Come disabilitare XML-RPC in WordPress - 26 giugno 2019
- Come trovare la versione di WordPress? - 26 giugno 2019