Hai l’esigenza di testare un file di Robots.txt prima di mandarlo online e capire se effettivamente funziona nel modo corretto? Screaming Frog ci viene in aiuto in questo attraverso la sua funzione Custom Robots.txt. In passato ho già raccontato della funzionalità del presente tool nella seguente Guida completa a Screaming Frog, la quale può esserti utili prima di utilizzare il SEO Spider.

Oggi vediamo un esempio pratico su come testare un file di robots.txt a seguito di un’analisi tecnica sul mio sito Seospecial. Facendo un’analisi del mio sito web mi sono accorto che il CMS che utilizzo (WordPress) stava creando in automatico degli URL derivati dalla ricerca interna del sito, di seguito un esempio di URL contenete il parametro di ricerca: /?s=

Fortunatamente il WordPress metteva in automatico un tag “noindex” all’interno del codice HTML per non far indicizzare le seguenti pagine.

Però mi sono domandato ok Google non ha indicizzato le seguenti pagine però le ha trovate e quindi le ha scansionate e di conseguenza consumato crawl budget.

Al che ho deciso di realizzare questa piccola VIDEO / guida su come customizzare un file di Robots.txt utilizzando il tool di Screaming Frog che potete trovare al seguente percorso una volta aperto il SEO Spider:

Configuration > Robots.txt > Custom

Sarà opportuno definire le aree di cui limitare l’indicizzazione/scansione al fine di rafforzare invece quelle che presentano maggiore potenziale per intercettare maggiori volumi di traffico. Dopo un’analisi di quali URL dovevano essere bloccate sono arrivato alla conclusione di customizzare il file di Robots.txt nel seguente modo:

#

User-agent: *

Disallow: */?s=*

#

La prima dicitura significa di bloccare a Google la scansione a tutte le pagine di ricerca interne. Successivamente sono andato su Screaming Frog ed ho testato il file di Robots.txt nel seguente modo:

Una volta salvate le nuove impostazioni, ho eseguito una nuova scansione del mio sito web ed ho notato come gli URL con il parametro di ricerca erano stati correttamente bloccati dal file di Robots.txt. Quindi potrò finalmente metterlo online e sperare in qualcosa di buono 😊

Di seguito il VIDEO del mio esperimento. Buona visione!