Crawl-Tiefe und Link Equity: fünf Mythen im Check

Tiefe ist eine Distanz, und Distanz benötigt einen Ursprung

Jeder Audit-Bericht enthält eine Spalte für die Tiefe. Sie ist einfach zu berechnen, daher wird sie oft als Ursache für Probleme angesehen.

Im Link-Graphen ist die Tiefe jedoch nur eine Distanz. Distanz von wo? Diese Frage entscheidet darüber, ob die Zahl überhaupt etwas aussagt, und sie ist der rote Faden durch alle fünf Mythen unten.

Wir halten die Limits unseres eigenen Crawlers im Blick. Er sieht Links zwischen Domains, nicht die Klicks innerhalb einer Site. Für die Tiefe benötigen Sie weiterhin Screaming Frog, Sitebulb oder ein eigenes Skript, und was wir hinzufügen, sind Informationen darüber, wo die Equity beginnt. Siehe Einstiegspunkte für Details.

Warum die Tiefe ab der Startseite bei linkstarken Sites irreführt

Crawl-Tiefe, allein gelesen, ist nur eine Distanz von einem Ort. Der relevante Ort ist überall dort, wo die Links wirklich beginnen, und bei einer Site mit starken Einlässen ist das oft nicht die Startseite.

Nehmen Sie einen Glossar-Eintrag, der tief in Ihrer Menüstruktur liegt. Drei Domains verlinken darauf. Seine echte Distanz beträgt einen Klick von einem Einlass, und die Tiefenspalte in Ihrem Crawl wird dies nie anzeigen.

Eine tiefe Seite, die bereits einen Link erhält

Nehmen Sie eine Seite, die sechs Klicks von der Startseite entfernt ist. Wenn ein Artikel, der drei Klicks tief liegt, darauf verlinkt, erreicht ein Besucher von außen sie in einem Schritt, egal was die Crawl-Exportdatei aussagt.

Tiefenangaben sind am nützlichsten als Rangliste dafür, was zuerst geprüft werden sollte. Sie hören auf, nützlich zu sein, sobald sie als Urteil über die Seite gelesen werden.

Ordnerpfade sind keine Klickpfade

Eine URL wie /a/b/c/ kann nur einen Klick von der Startseite entfernt sein, weil ein Menü direkt darauf verlinkt. Der Ordner zeigt, wie die Site strukturiert ist, während die Klickzahl zeigt, wie sie erreicht wird.

Das Verschieben einer Seite in einen flacheren Ordner bedeutet meist eine Weiterleitung und eine neue Adresse für einen Link, der bereits funktioniert. Dieser Trade-off lohnt sich selten, es sei denn, die Migration findet ohnehin statt.

Eine kurze Liste der Ordner, die Ihre Menüs tatsächlich nutzen, ist ein besserer Ausgangspunkt als der vollständige Verzeichnisbaum, der viele Seiten enthält, auf die niemand verlinkt.

Die Crawl-Zeit hängt von den Einstellungen ab, nicht von einer Regel

Leute fragen, wie lange ein Crawl einer mittelgroßen Site dauern sollte. Es gibt keine feste Antwort, da Crawl-Geschwindigkeit, die erlaubten Anfragen pro Sekunde, die Anzahl der Parameter-Varianten und der Anteil der Seiten, die spät gerendert werden, den Wert beeinflussen.

Führen Sie einen kleinen Crawl durch und messen Sie die Zeit. Multiplizieren Sie mit den Abschnitten, die Sie interessieren, und betrachten Sie das Ergebnis als Schätzung für die Planung, nicht als Benchmark.

Tiefe ab den Einlässen neu berechnen

Nehmen Sie die Einstiegsliste aus toppages und behandeln Sie jede URL als Startknoten. Führen Sie dann eine Breitensuche über Ihren Crawl-Export durch und notieren Sie den kürzesten Klickpfad von jeder Einstiegsseite zu jeder Money-Page.

Eine Seite, die fünf Klicks von der Startseite entfernt ist, aber nur einen Klick von einem stark verlinkten Artikel, ist überhaupt nicht tief. Sie befindet sich einfach auf einem anderen Ast des Graphen.

Das ursprüngliche PageRank-Papier von 1998 modellierte die Link-Struktur als Walkthrough durch einen Graphen, nicht als Verzeichnisbaum. Die Messung ab den Quellen überträgt diese Idee auf Ihre eigene Site.

Quellen zuerst, Distanzen zweitrangig. Das ist die Methode. Machen Sie es einmal, und die Tiefenspalte beginnt, Dinge zu erklären. Das Hub-Arbeitsbeispiel setzt es in die Praxis um.

Crawl-Bloat durch Parameter, und warum die Tiefe dafür die Schuld bekommt

Parameter sind der übliche Grund, warum ein Tiefenbericht alarmierend aussieht. Eine Site kann eine vernünftige Struktur haben und dennoch Tausende von Adressen durch Filter, Sortierungen und Session-IDs generieren.

Die Lösung hängt davon ab, welches Signal Sie senden, und jedes Signal erfüllt einen anderen Zweck.

Parameter blähen die Zählungen auf

Ein Filter, eine Sortierreihenfolge oder eine Session-ID kann eine Kategorie in Hunderte von Adressen verwandeln. Jede Variante erhöht den Crawl-Export und verwässert die Links, die auf die saubere Seite zeigen sollten.

Bevor Sie eine Tiefeneinstellung ändern, zählen Sie die Varianten. Gruppieren Sie Adressen nach Pfad und listen Sie auf, welche Query-Strings vorkommen. Die übliche Lösung besteht darin, nicht mehr auf die Varianten zu verlinken, anstatt ihnen mit Regeln hinterherzujagen.

Beginnen Sie mit den Parametern, die am häufigsten in Ihren Link-Exports vorkommen, da diese Varianten bereits Links anziehen und zuerst Aufmerksamkeit verdienen.

Signale, die einen Crawler stoppen lassen

Es gibt keinen einzelnen universellen Schalter, der sagt „Ab hier nicht mehr crawlen“, ohne Nebenwirkungen. Ein Canonical-Tag benennt die bevorzugte Adresse, eine noindex-Direktive hält eine Seite aus den Ergebnissen heraus, und das Entfernen interner Links zu einer Variante reduziert, wie oft sie gefunden wird.

Wählen Sie das Signal, das zum Problem passt. Crawl-Abfall und Indizierung sind verwandt, aber sie sind nicht dasselbe, und eine Lösung für das eine kann das andere unberührt lassen.

Testen Sie jedes Signal an einer Variante, bevor Sie es auf die ganze Familie anwenden. Ein kleiner Test zeigt, ob die Variante den Index wie erwartet verlässt.

Robots-Regeln verbergen, sie bereinigen nicht

Eine Disallow-Regel in robots.txt verhindert, dass konforme Bots einen Pfad abrufen. Sie entfernt keine URL, die bereits Links aufweist. Sie verhindert auch, dass ein Crawler das Canonical- oder Noindex-Tag auf dieser Seite liest.

Lesen Sie die Regeln, bevor Sie sich auf sie verlassen. Ein blockierter Pfad kann weiterhin als nackte Adresse in den Ergebnissen erscheinen, also koppeln Sie jede Blockade mit einem Plan für die Links, die darauf zeigen. Wenn eine Lösung bedeutet, Pfade zu verschieben, deckt das Migration-Runbook die Arbeitsreihenfolge ab.

Ein einfaches Audit listet jede Disallow-Regel neben den URLs auf, die sie abdeckt, sodass Sie sehen können, welche Regeln Seiten blockieren, die immer noch Links generieren.

Tiefe im gerenderten Output prüfen

Tiefenangaben hängen davon ab, welche Links ein Crawl sehen kann. Eine skriptlastige Seite kann bei einem einfachen Abruf weniger Links anzeigen als ein Browser, daher kann sich der Tiefenbericht von Tool zu Tool unterscheiden.

Halten Sie den Vergleich kurz und spezifisch.

Vergleichen Sie den Quell-HTML mit dem gerenderten HTML

Rufen Sie den rohen Quellcode einer Seite ab, dann das gerenderte DOM, und vergleichen Sie die Link-Listen. Eine Lücke bedeutet, dass ein Teil Ihrer Tiefe auf JavaScript zurückzuführen ist und nicht auf das Markup.

Zählen Sie die Links in beiden Versionen für fünf repräsentative Seiten und notieren Sie, welche Abschnitte erst nach dem Rendern erscheinen. Diese kurze Liste zeigt Ihnen, wo eine Tiefenangabe vertrauenswürdig ist.

Notieren Sie, ob ein Unterschied nur bei einer Vorlage auftritt. Eine Lücke auf Vorlagenebene ist eine einmalige Lösung, während verteilte Lücken Arbeiten Seite für Seite erfordern.

Links in Client-seitigen Widgets

Eine Produktwand, die in React gebaut wurde, kann Titel und kurze Beschreibungen anzeigen, während die Bilder und die Links dahinter spät laden. Ob das ausreicht, hängt von den Links ab, also prüfen Sie, ob jede Karte einen crawlbaren Anchor enthält.

Stellen Sie sich ein Raster von vierzig Produkten vor, von denen nur die ersten zwölf im Server-Output enthalten sind. Die anderen achtundzwanzig sind für eine Person nur einen Klick entfernt, im Quellcode jedoch unsichtbar, und diese Lücke zeigt sich als zusätzliche Tiefe in Ihrem Crawl.