Profondità di crawling ed equity dei link: cinque miti verificati

La profondità è una distanza e la distanza ha bisogno di un'origine

Ogni report di audit ha una colonna per la profondità. È facile da calcolare, quindi viene trattata come la causa dei problemi.

In un grafo dei link, però, la profondità è solo una distanza. Distanza da dove? Questa domanda decide se il numero ha un significato ed è il filo conduttore di tutti e cinque i miti seguenti.

Teniamo sotto controllo i limiti del nostro crawler. Vede i link tra domini, non i click all'interno di un singolo sito. Per la profondità ti servono ancora Screaming Frog, Sitebulb o uno script personalizzato, e ciò che aggiungiamo noi è l'informazione su dove inizia l'equity. Vedi punti di ingresso per capire come.

Perché la profondità dalla home page fuorvia sui siti ricchi di link

La profondità di crawling, letta da sola, è solo una distanza da un punto. Il punto che conta è ovunque inizino realmente i link, e in un sito con forti ingressi questo spesso non è la home page.

Prendi una voce di glossario che si trova in profondità nella struttura del menu. Tre domini linkano ad essa. La sua distanza reale è un click da un ingresso, e la colonna di profondità nel tuo crawl non lo dirà mai.

Una pagina profonda che riceve già un link

Prendi una pagina a sei click dalla home page. Se un articolo a tre click di profondità linka ad essa, un utente che arriva dall'esterno la raggiungerà in un solo passaggio, indipendentemente da ciò che dice l'esportazione del crawling.

I numeri di profondità sono più utili come classifica di cosa controllare per primo. Smettono di essere utili nel momento in cui vengono letti come un verdetto sulla pagina.

I percorsi delle cartelle non sono percorsi di click

Un URL come /a/b/c/ può trovarsi a un click dalla home page, perché un menu linka direttamente ad esso. La cartella ti dice come il sito è stato organizzato, mentre il conteggio dei click ti dice come viene raggiunto.

Spostare una pagina in una cartella più superficiale di solito significa un redirect e un nuovo indirizzo per un link che funziona già. Questo compromesso raramente conviene a meno che la migrazione non stesse già avvenendo.

Un breve elenco delle cartelle che i tuoi menu utilizzano effettivamente è un punto di partenza migliore rispetto all'intero albero delle directory, che include molte pagine a cui nessuno linka.

Il tempo di crawling dipende dalle impostazioni, non da una regola

Le persone chiedono quanto dovrebbe durare il crawling di un sito di medie dimensioni. Non c'è una risposta fissa, perché la velocità di crawling, le richieste consentite al secondo, il numero di varianti dei parametri e la quota di pagine che vengono renderizzate tardivamente influenzano il risultato.

Esegui un piccolo crawling e cronometralo. Moltiplica per le sezioni che ti interessano e tratta il risultato come una stima di pianificazione piuttosto che come un benchmark.

Rieseguire la profondità dagli ingressi

Prendi la lista degli ingressi da toppages e tratta ogni URL come un nodo sorgente. Poi esegui una visita in ampiezza (BFS) sulla tua esportazione di crawling e registra il percorso di click più breve da ogni pagina di ingresso a ogni pagina di conversione.

Una pagina a cinque click dalla home page ma a un click da un articolo molto linkato non è affatto profonda. Si trova semplicemente su un ramo diverso del delta.

L'articolo originale su PageRank del 1998 modellava la struttura dei link come una passeggiata attraverso un grafo, non come un albero directory. Misurare dalle sorgenti applica la stessa idea al tuo sito.

Sorgenti prima, distanze dopo. Questo è il metodo. Fallo una volta e la colonna di profondità inizierà a spiegare le cose. L'esempio pratico sulla pagina hub lo mette in pratica.

Il bloat del crawling dai parametri e perché la profondità ne viene incolpata

I parametri sono la solita ragione per cui un report sulla profondità sembra allarmante. Un sito può avere una struttura sensata e comunque generare migliaia di indirizzi da filtri, ordinamenti e ID sessione.

La soluzione dipende dal segnale che invii, e ogni segnale svolge un lavoro diverso.

I parametri gonfiano i conteggi

Un filtro, un ordine di ordinamento o un ID sessione possono trasformare una categoria in centinaia di indirizzi. Ogni variante aggiunge all'esportazione del crawling e diluisce i link che dovrebbero puntare alla pagina pulita.

Prima di modificare qualsiasi impostazione di profondità, conta le varianti. Raggruppa gli indirizzi per percorso ed elenca quali query string appaiono. La soluzione usuale è smettere di linkare alle varianti, non inseguirle con regole.

Inizia con i parametri che appaiono più spesso nelle tue esportazioni di link, poiché quelle varianti attraggono già link e meritano attenzione per prime.

Segnali che chiedono a un crawler di fermarsi

Non esiste un unico interruttore universale che dica di smettere di crawling oltre questo punto senza effetti collaterali. Un tag canonical nomina l'indirizzo preferito, una direttiva noindex tiene una pagina fuori dai risultati, e rimuovere i link interni a una variante riduce la frequenza con cui viene trovata.

Scegli il segnale che corrisponde al problema. Spreco di crawling e indicizzazione sono correlati, ma non sono la stessa cosa, e una soluzione per l'uno può lasciare l'altro invariato.

Testa ogni segnale su una variante prima di applicarlo all'intera famiglia. Un piccolo test mostra se la variante lascia l'indice come ti aspettavi.

Le regole robots nascondono, non puliscono

Una regola disallow in robots.txt impedisce ai bot conformi di recuperare un percorso. Non rimuove un URL che ha già link che puntano ad esso. Impedisce inoltre a un crawler di leggere il tag canonical o noindex su quella pagina.

Leggi le regole prima di affidarti a esse. Un percorso bloccato può ancora apparire come un semplice indirizzo nei risultati, quindi abbina qualsiasi blocco con un piano per i link che puntano ad esso. Se una soluzione implica lo spostamento dei percorsi, il runbook di migrazione copre l'ordine di lavoro.

Un semplice audit elenca ogni regola disallow accanto agli URL che copre, così puoi vedere quali regole bloccano pagine che continuano a guadagnare link.

Verifica della profondità sull'output renderizzato

I numeri di profondità dipendono da quali link un crawler può vedere. Una pagina con molto script può mostrare meno link a un fetch semplice rispetto a un browser, quindi il report sulla profondità può differire tra gli strumenti.

Mantieni il confronto breve e specifico.

Confronta l'HTML sorgente con l'HTML renderizzato

Recupera il sorgente grezzo di una pagina, poi il DOM renderizzato e confronta le liste di link. Una differenza significa che parte della tua profondità deriva da JavaScript piuttosto che dal markup.

Conta i link in entrambe le versioni per cinque pagine rappresentative e nota quali sezioni appaiono solo dopo il rendering. Quel breve elenco ti dice dove un valore di profondità può essere considerato affidabile.

Nota se una differenza appare solo su un template. Una differenza a livello di template è una correzione che fai una volta sola, mentre differenze sparse richiedono lavoro pagina per pagina.

Link all'interno di widget lato client

Un muro di prodotti costruito in React può mostrare titoli e brevi descrizioni mentre le immagini e i link sottostanti si caricano in ritardo. Che questo sia sufficiente dipende dai link, quindi verifica che ogni scheda abbia un anchor crawlable.

Immagina una griglia di quaranta prodotti dove solo i primi dodici sono nell'output del server. Gli altri ventotto sono a un click di distanza per una persona, ma invisibili nel sorgente, e quella differenza si manifesta come profondità extra nel tuo crawling.