Errore 404: analisi SEO su come gestire e ottimizzare le Pagine non più esistenti

Errore 404 not found si tratta di un codice di stato restituito da un Server per una risorsa web richiesta da un Client (può essere un Utente) cercava che però non ha trovato perché non più esistente oppure non è mai esistita.

Una volta che l’utente accede per qualche motivo ad una pagina che risponde con uno Status Code 404 è possibile configurare il web server per restituire un template di pagina 404 standard.

Le pagine che presentano un errore http 404 sono molto comuni nel web che è in continua trasformazione.

Gli errori di stato possono essere generati in qualsiasi momento con il più piccolo dei cambiamenti, come un scheda prodotto di un e-commerce che scompare.

I motori di ricerca sono consapevoli di questa evoluzione nel web ed è normale trovare errori 404 perfino tra le pagine di Google.

Pagina 404 di Google

Come afferma lo stesso Google gli errori 404 non influiscono negativamente sul rendimento del sito nella ricerca organica.

Con questo discorso non significa che le pagine 404 non vadano ottimizzate anzi è molto importante ottimizzarle nel modo corretto a fronte dei seguenti importanti motivi:

  • trasferimento di Link Juice tra i link interni di un sito web;
  • backlink ricevuti su pagine che rispondo con errore 404;
  • per una questione di User Experience dell’utente.

Pagina non trovata 404 error Search Console

Caso differente nella gestione degli errori soft 404 che nel proseguo della presente guida scoprirai come possono inficiare sulle prestazioni e il crawl budget messo da parte da Google per il tuo sito web.

Cominciamo questa guida con l’analisi degli errori 404 iniziando con il capire come si genera uno Status Code 404.

1. Come si genera un Errore 404?

La risposta a questa domanda è.. Dipende!

Una risorsa che non esiste può dipendere da differenti motivazioni.

Andiamo ad elencare ed analizzare i casi più comuni per la generazione di questo Codice di Stato 404:

  • la risorsa per qualche motivo è stata rimossa;
  • il contenuto di una risorsa è stato spostato e si è dimenticato di eseguire un redirect del vecchio URL;
  • un link interno o esterno che punta su una risorsa non più esistente;
  • la risorsa non è mai esistita, perché c’è stato un errore di digitazione dell’URL;
  • nuovo naming di un URL.

A prescindere da come sono stati generati gli errori 404 è opportuno come primo step capire come trovare gli errori 404 all’interno di un nostro sito web.

2. Quali strumenti utilizzare per trovare gli Errori 404?

E’ molto importante capire il reale status code di una pagina e non sempre è detto che sia il codice di stato corretto!

Molte volte capita che una pagina web risponde con uno status code 404  ma ciò non significa che in realtà risponda con un effettivo status code 404.

Allora è necessario utilizzare differenti strumenti a seconda degli obbiettivi di analisi.

Gli strumenti che utilizza un SEO Specialist per le analisi delle Pagine che presentano status code 404 sono differenti, eccone una lista:

  • Plug-in Redirect path di Google Chrome;
  • Screaming Frog: ti consiglio di leggere la presente guida completa su come impostare correttamente il SEO Spider;
  • la funzione “Fetch as Google” di Search Console, che ti permette di visualizzare il reale status code di come lo vede Google.

Visualizza come Google

E’ importante ricordarsi che se blocchiamo l’accesso tramite Robots.txt, lo spider di Google non sarà in grado di leggere lo status code della risorsa bloccata.

2.1 Errori di scansione Google Search Console

La Search Console di Google oltre ad indicare il codice di risposta HTTP di come Google lo vede con lo strumento “Visualizza come Google”, andando nella sezione del Menù chiamata:

  • Scansione

fornisce un secondo strumento per vedere la lista completa degli errori 404 che lo spider di Google ha rilevato durante la scansione di un sito web.

Cliccando su “Errori di Scansione” è possibile vedere il report completo di tutti gli errori sia di tipo 4xx che errori server 5xx.

Errori di scansione 404 Search Console

Gli errori di scansione sono elencati in una lista con il codice di risposta associato e la data di quando sono stati rilevati l’ultima volta dal bot di Google.

Aumentando i risultati fino a 500 righe è possibile ordinare secondo la data di rilevazione e scaricare la lista degli errori attraverso il tasto “Download” ed analizzare in maniera più approfondita tramite un file Excel.

Una volta scaricato il file e gestito gli errori di scansione con le opportune o meno redirezioni, a seconda delle analisi effettuate, è possibile selezionare tutti gli errori come corretti in modo da azzerare i dati della Search Console e continuare con le analisi delle future rilevazioni che lo spider di Google troverà in futuro.

Inoltre cliccando sul singolo URL si apre un pop-up nella Search Console con le informazioni sulle sorgenti dei link interni rotti, ovvero i link interni al sito web analizzato che puntano verso la risorsa non più esistente.

Link interni 404 Search Console

Come in questo caso è possibile individuare tali link ed eliminarli nel caso in cui si volesse lasciare tali pagine con uno status code 404 in modo che i bot di Google non “dovrebbero” riuscire più a scansionarla.

Una volta trovati gli Errori 404, come secondo step bisogna capire se vale la pena oppure meno correggere gli errori 404.

3. Analisi degli Errori 404

Una pagina che non è più presente negli indici dei motori di ricerca non significa per forza che essa vada ristabilita o ridirezionata, gestire gli Errori 404 significa anche capire se vale la pena o meno correggerli.

Per questo motivo è importate per una corretta Analisi sugli Errori 404 procedere con i seguenti check:

  • che tipologia di pagina era e quali contenuti aveva?
  • che tipo di autorevolezza in termini di link riceveva?
  • quanto traffico portava al sito web?

Andiamo a vedere insieme come effettuare queste tipologie di analisi e quali strumenti ci vengono in aiuto.

3.1 Quali contenuti possedeva la pagina non più esistente?

Una prima analisi per capire la tipologia di contenuti che aveva la Pagina non più esistente, consiste di porre attenzione al naming dell’URL.

Se il sito web che stiamo analizzando ha i parametri ottimizzati degli URL, capire il senso della pagina diventa semplice sopratutto se si ha a che fare con enormi quantità di Pagine con errore 404.

E’ possibile capire già attraverso il naming dell’URL se ci sono pagine simili e nel caso proporre una redirezione 301 verso di esse.

Se invece stiamo analizzando un sito web con parametri degli URL non ottimizzati diventa ancora più difficile capire i significato della Pagina non più esistente, in questo caso dobbiamo ricorrere al tool Wayback Machine di Internet Archive.

3.2 Analisi dei Backlink ricevuti sulle pagine con errore 404

Un secondo tipo di analisi nelle strategie di Ottimizzazione di un sito web consiste nel capire il numero di backlink che riceveva una pagina che oggi non esiste più.

E’ molto importante salvare il Trust che riceveva una pagina in 404 e convogliarlo verso una risorsa che risponde 200.

Questo è possibile farlo attraverso due importanti strumenti come:

  • Majestic SEO;
  • Screaming Frog.

Se si dispone dell’account a pagamento del Tool on-line di Majestic SEO, nella sezione “pagine” dopo aver selezionato il database storico, è possibile scaricare la lista completa di pagina che ricevono backlink.

Successivamente basterà inserire questa lista di URL in Screaming Frog in modo da analizzare gli status code delle risorse linkate.

Se tra queste sono presenti pagine che rispondono con un errore 404 analizzare e capire la natura del loro errore. Se è possibile riabilitare tali pagine oppure reindirizzarle verso risorse simili che rispondo con uno status code 200, salvando il trust ricevuto da risorse esterne.

3.3 Analisi del traffico di ricerca

Infine ultimo doveroso check da fare per una completa analisi sugli Errori 404 consiste nel capire quanto traffico organico la Pagina in questione riusciva a intercettare in passato.

In questa analisi ci viene in aiuto Google Analytics andando a specificare per tipologia di traffico organico e capire le sessioni di traffico che la pagina portava verso il sito web.

4. Quando non vale la pena correggere gli Errori 404

Se l’analisi qualitativa degli errori 404, spiegata nel paragrafo precedente, non ha dato esiti positivi in termini di:

  • contenuti autorevoli;
  • backlink ricevuti;
  • traffico organico intercettato.

è probabile che non abbiamo molto senso la risoluzione degli Errori 404.

Ecco quindi una piccola lista che elenca i casi per cui non vale la pena gestire gli errori 404:

  • se si tratta di una pagina eliminata per la quale non esiste una pagina sostitutiva o equivalente, è opportuno lasciarla con una status code che risponde 404 e magari tagliare tutti i suoi link interni; ovvero tutte le pagine interne che puntano verso quella determinata risorsa;
  • se si tratta di un URL non noto ovvero una pagina che non è mai esistita sul sito web in questione. Questi URL imprevisti che spesso ti presenta la Search Console potrebbero essere generati da Googlebot nel tentativo di seguire link trovati in file JavaScript, Flash o altri contenuti esterni richiamati;
  • se non riconosci un URL sul tuo sito, puoi ignorarlo. La search Console ti presenta allo stesso modo questi errori perché si verificano quando probabilmente un utente utilizza un URL non esistente all’interno del browser o di un link.

4.1 Rimozione temporanea di un URL

Se l’errore 404 in questione dopo un’attenta e dovuta analisi non ha ricevuto i termini di qualità è strategicamente sensato mantenere la pagina in 404 senza procedere con nessun redirect.

Bisognerà tuttavia tagliare qualunque collegamento con il resto del sito web da cui si trova ancora collegata.

Tagliando tutti i link interni che puntano verso la pagina non più esistente, il bot di Google avrà difficoltà ad accedere e scansionare tale pagina e quindi con un pò di pazienza la farà sparire automaticamente anche dalle SERP.

Se proprio hai intenzione di non vederla più in SERP, lo strumento di Google la Search Console ti da la possibilità di procedere con una rimozione dell’URL temporanea (6 mesi).

Rimozione URL temporanea Search Console

Andando su Indice di Google -> Rimozione URL -> Nascondi temporaneamente.

Andiamo a vedere ora come gestire gli errori 404 nel caso in cui l’analisi qualitativa descritta nel terzo paragrafo della presente guida ha avuto riscontri positivi.

5. Gestire una Pagina 404 con contenuto spostato oppure rimosso

Nel caso in cui la risorsa presenta un Errore 404 perché i suoi contenuti originali sono stati spostati, è importante ricordarsi di aggiungere un reindirizzamento 301 verso il nuovo URL al quale sono stati spostati i contenuti.

Se invece hai rimosso definitivamente i contenuti dalla Pagina e non hai intenzione di sostituirli con contenuti correlati, il vecchio URL dovrebbe restituire 404 oppure 410.

6. Link Interno che punta ad una pagina 404

Può succedere che un link interno ad un sito web punti su una pagina che attualmente risponda 404.

Anche in questo caso può succedere per diversi motivi:

  • il rifacimento dell’architettura informativa di una parte del sito web e il mancato aggiornamento dei link interni;
  • cambio di naming dell’URL;
  • oppure c’è stata una sbagliata digitazione da parte del webmaster nell’inserire il link interno.

Per correggere il presente errore basterebbe andare a modificare il link che si è inserito che punta alla risorsa non più esistente e cambiarlo con una risorsa che risponde 200.

La correzione di questo errore non serve solamente a garantire una corretta navigazione dell’utente ma anche a veicolare nella corretta maniera il link juice da una pagina all’altra del sito web.

7. Un Backlink che punta su una risorsa inesistente

A volte capita che riceviamo link su un URL del nostro sito web non più esistente, anche in questo caso le motivazioni possono essere differenti come ad esempio:

  • il webmaster di turno che ha sbagliato a digitare l’URL inserendone uno scorretto;
  • abbiamo cambiato naming a quell’URL;
  • oppure abbiamo solamente eliminato quella risorsa.

in tutti e tre i casi sarebbe opportuno correggere la direzione di quel link in ingresso attraverso una redirezione 301 che punta su una risorsa corretta che risponde 200.

8. Differenze con gli errori Soft 404

Gli errori Soft 404 a differenza degli errori 404 restituiscono al browser un codice di risposta 200.

In genere succede quando il server gestisce URL che non funzionano o non esistono come se fossero corretti e reindirizza l’utente a una pagina valida che risponde appunto 200, ad esempio la home page o una pagina 404 “personalizzata”.

A differenza degli errori 404 le pagine che rispondo con un soft 404 sono un problema per gli Spider dei motori di ricerca i quali potrebbero dedicare molto tempo alla loro scansione e consumare crawl budget, indicizzando questa tipologia di pagine che non hanno senso di essere indicizzate.

Il crawl continuerà a scansionare tali URL “inesistenti” anziché impiegare quel tempo ad eseguire di pagine importanti del tuo sito web.

Questo potrebbe incidere negativamente sulla copertura della scansione del tuo sito perché i tuoi URL univoci reali potrebbero non essere trovati in tempi brevi o visitati spesso a causa del tempo che Googlebot dedica a pagine che non esistono.

Come gestire ed ottimizzare le pagine soft 404 ? Anche in questo caso come primo step capire di che natura sono queste pagine e come si sono venute a creare per non ripetere lo sbaglio in futuro.

E successivamente una volta capita la natura della Pagina soft 404 eseguire una delle due seguenti strategie SEO:

  • Se la pagina non è più disponibile e non è presente una pagina che la sostituisca, è preferibile che la pagina restituisca un errore 404 oppure 410;
  • se la pagina è stata spostata o presenta in modo chiaro una pagina che la sostituisca è preferibile che tale pagina esegua una redirezione 301 e reindirizzare l’utente alla destinazione pertinente.

9. Perché si effettua una Redirezione 301 ?

La risposta a questa domanda è semplice perché così facendo si trasferisce tutto il Link Juice della vecchia risorsa raccolto durante il tempo e trasferita in maniera permanente verso il nuovo URL.

In una corretta analisi dei 404 è importante evitare catene di Redirezioni, ovvero nel seguente caso:

URL A redirect verso à URL B che a sua volta fa un redirect verso à URL C

Ad esempio pagina A risponde con uno status code 301 che a sua volta punta su una seconda pagina B che risponde nuovamente con uno status code 301 che punta infine su una pagina in 404.

Come primo passo bisogna capire il valore della Pagina A se esiste una sua pagina simile in modo da redirezionarla correttamente, in secondo step è analizzare l’errore 404 e capire di che natura sia.

Per capire se esiste una tipologia di pagina simile all’URL che risponde 404 è importante agire sul path, eccone un esempio:

www.seospecial.it/category/sub-category/strumenti/ ->

/strumenti/

è la pagina che per qualche motivo non esiste più, per capire come redirezionare tale URL è necessario eliminare il path /strumenti/ e vedere se la categoria che lo contiene /sub-category/ risponde 200.

Se questa analisi da un riscontro positivo, è possibile procedere con una redirezione 301 verso la categoria ache lo contiene.

In alternativa capire se nel sito web esiste una risorsa semanticamente simile a quella non più esistente e proporre un Redirect 301.

9.1 I reindirizzamenti alla Home Page sono corretti?

Nel caso in cui non sappiamo a quale altro URL medesimo associare una pagina 404 perché non presente una medesima pagina con contenuti simili.

Di solito pratica comune è di redirezionarla direttamente alla Home Page del sito web.

Questa pratica è stata smentita da Google il quale afferma di non attuare le seguenti operazioni:

  • non reindirizzare alla home page;
  • non utilizzare il file robots.txt per bloccare gli URL problematici;

sarà più difficile da parte di Google riconoscere la struttura del sito web ed elaborarlo correttamente.

Inoltre la creazione di un reindirizzamento 3XX può ritardare di molto tempo il tentativo di scansione

Come fare allora?

Ignorare semplicemente gli errori 404 che non è possibile redirezionare o comunque gestire nel migliore dei modi e tagliare tutti i link interni che puntano verso di essi in modo che Google le toglierà prima o poi dalle SERP se già indicizzati.

Conclusioni

Come abbiamo visto in questa Guida su l’Analisi degli errori 404 questa tipologia di errori può verificarsi molto spesso nella creazione ed evoluzione di un sito web.

Non c’è da preoccuparsi appena si riscontra la presenza di tali pagine ma rimboccarsi le maniche e fare le giuste analisi e considerazioni.

Spero con questa guida di essere stato esaustivo anche se è difficile racchiudere un tema del genere all’interno di un articolo.

Spero di avere vostri feedback nel caso in cui mi fossi dimenticato altri casi tipici sulla formazione di pagine 404.

0 commenti

Lascia un Commento

Vuoi partecipare alla discussione?
Fornisci il tuo contributo!

Lascia un commento

Il tuo indirizzo email non sarà pubblicato.