Crawl-diepte en linkautoriteit: vijf mythes, onderzocht

Diepte is een afstand, en afstand heeft een oorsprong

Elk auditrapport heeft een kolom voor diepte. Het is eenvoudig te berekenen, dus het wordt vaak als oorzaak beschouwd.

In een linkgrafiek is diepte echter alleen een afstand. Afstand vanaf waar? Die vraag bepaalt of het getal iets betekent, en dat is de rode draad door alle vijf de mythes hieronder.

We houden de limieten van onze eigen crawler in de gaten. Hij ziet links tussen domeinen, niet de klikken binnen één site. Voor diepte heb je nog steeds Screaming Frog, Sitebulb of je eigen script nodig, en wat we toevoegen is informatie over waar autoriteit begint. Zie ingangspunten voor hoe.

Waarom diepte vanaf de homepage misleidend is op linkrijke sites

Crawl-diepte, alleen gelezen, is slechts een afstand vanaf één plek. De plek die ertoe doet is waar de links echt beginnen, en op een site met sterke inlaten is dat vaak niet de homepage.

Neem een glossarium-entry die diep in je menustructuur zit. Drie domeinen linken ernaar. De echte afstand is één klik vanaf een inlaat, en de dieptekolom in je crawl zal dat nooit zeggen.

Een diepe pagina die al een link ontvangt

Neem een pagina die zes klikken van de homepage verwijderd is. Als een artikel drie klikken diep ernaar linkt, bereikt een bezoeker van buitenaf het in één stap, wat de crawl-export ook zegt.

Dieptecijfers zijn het meest nuttig als ranglijst van wat je eerst moet controleren. Ze worden niet meer nuttig op het moment dat ze worden gelezen als oordeel over de pagina.

Mappaden zijn geen klikpaden

Een URL zoals /a/b/c/ kan één klik van de homepage verwijderd zijn, omdat een menu er direct naar linkt. De map vertelt je hoe de site is ingedeeld, terwijl het klikaantal vertelt hoe deze wordt bereikt.

Een pagina verplaatsen naar een ondiepere map betekent meestal een redirect en een nieuw adres voor een link die al werkt. Die ruil levert zelden iets op, tenzij de migratie toch al plaatsvindt.

Een korte lijst van de mappen die je menu's daadwerkelijk gebruikt is een beter startpunt dan de volledige directoryboom, die veel pagina's bevat waarnaar niemand linkt.

Crawltijd hangt af van instellingen, niet van een regel

Mensen vragen hoe lang een crawl van een middelgrote site zou moeten duren. Er is geen vast antwoord, omdat crawlsnelheid, het aantal verzoeken dat je per seconde toestaat, het aantal parametervarianten en het aandeel pagina's dat laat laadt allemaal de figuur beïnvloeden.

Voer één kleine crawl uit en meet de tijd. Vermenigvuldig met de sectoren die je interesseren, en behandel het resultaat als een planningsschatting in plaats van een benchmark.

Diepte opnieuw berekenen vanaf de inlaten

Neem de ingangslijst van toppages en behandel elke URL als een bronknoop. Voer vervolgens een breadth-first walk uit over je crawl-export en registreer het kortste klikpad vanaf elke ingangspagina naar elke money page.

Een pagina die vijf klikken van de homepage verwijderd is, maar één klik van een veelgelinkte article, is helemaal niet diep. Hij zit gewoon op een andere tak van de delta.

Het originele PageRank-paper uit 1998 modelleerde linkstructuur als een walk door een grafiek, niet als een directoryboom. Meten vanaf bronnen past hetzelfde idee toe op je eigen site.

Bronnen eerst, afstanden tweede. Dat is de methode. Doe het één keer en de dieptekolom begint dingen uit te leggen. De hub worked example zet het in de praktijk.

Crawl-bloat door parameters, en waarom diepte daar de schuld van krijgt

Parameters zijn de gebruikelijke reden waarom een diepterapport alarmerend lijkt. Een site kan een verstandige structuur hebben en toch duizenden adressen genereren uit filters, sorteringen en session ids.

De oplossing hangt af van welk signaal je verzendt, en elk signaal doet een andere taak.

Parameters inflteren de tellingen

Een filter, een sorteervolgorde of een session id kan één categorie in honderden adressen veranderen. Elke variant voegt toe aan de crawl-export en verdund de links die naar de schone pagina moeten wijzen.

Voordat je een enkele diepte-instelling wijzigt, tel de varianten. Groepeer adressen op pad en lijst op welke querystrings voorkomen. De gebruikelijke oplossing is om niet meer naar de varianten te linken, in plaats van ze met regels achterna te jagen.

Begin met de parameters die het vaakst voorkomen in je linkexports, omdat die varianten al links aantrekken en eerst aandacht verdienen.

Signalen die een crawler vragen te stoppen

Er is geen enkele universele schakelaar die zegt 'stop met crawlen voorbij dit punt' zonder neveneffecten. Een canonical tag benoemt het voorkeursadres, een noindex-directive houdt een pagina buiten de resultaten, en het verwijderen van interne links naar een variant verlaagt hoe vaak deze wordt gevonden.

Kies het signaal dat past bij het probleem. Crawl-waste en indexering zijn gerelateerd, maar ze zijn niet hetzelfde, en een oplossing voor het één kan het ander ongemoeid laten.

Test elk signaal op één variant voordat je het op de hele familie toepast. Een kleine test laat zien of de variant de index laat zoals je verwachtte.

Robots-regules verbergen, ze maken niet schoon

Een disallow-regel in robots.txt stopt compatibele bots met het ophalen van een pad. Het verwijdert geen URL die al links heeft die erop wijzen. Het stopt ook een crawler met het lezen van de canonical of noindex tag op die pagina.

Lees de regels voordat je erop vertrouwt. Een geblokkeerd pad kan nog steeds als een naakt adres in de resultaten verschijnen, dus koppel elke blokkade aan een plan voor de links die erop wijzen. Als een oplossing betekent dat je paden verplaatst, behandelt de migration runbook de volgorde van werkzaamheden.

Een eenvoudige audit somt elke disallow-regel op naast de URL's die het dekt, zodat je kunt zien welke regels pagina's blokkeren die nog steeds links verdienen.

Diepte controleren op gerenderde output

Dieptecijfers hangen af van welke links een crawler kan zien. Een scriptzware pagina kan minder links tonen aan een eenvoudige fetch dan een browser, dus het diepterapport kan per tool verschillen.

Houd de vergelijking kort en specifiek.

Vergelijk de bron-HTML met de gerenderde HTML

Haal de ruwe bron van een pagina op, vervolgens het gerenderde DOM, en vergelijk de linklijsten. Een gat betekent dat een deel van je diepte afkomstig is van JavaScript in plaats van van de markup.

Tel de links in beide versies voor vijf representatieve pagina's, en noteer welke secties pas na het renderen verschijnen. Die korte lijst vertelt je waar een dieptecijfer betrouwbaar is.

Noteer of een verschil alleen op één template voorkomt. Een gat op templatenumiveau is een oplossing die je één keer maakt, terwijl verspreide gaten werk per pagina vereisen.

Links binnen client-side widgets

Een productwall gebouwd in React kan titels en korte beschrijvingen tonen terwijl de afbeeldingen en de links erachter laat laden. Of dat genoeg is, hangt af van de links, dus controleer of elke kaart een crawlbare anchor bevat.

Stel je een raster van veertig producten voor, waarvan er slechts twaalf in de serveroutput staan. De andere achtentwintig zijn één klik verwijderd voor een persoon, maar onzichtbaar in de bron, en dat gat komt naar voren als extra diepte in je crawl.