Głębokość indeksowania a przekaz linkowy: weryfikacja pięciu mitów

Głębokość to odległość, a odległość wymaga punktu początkowego

Każdy raport z audytu zawiera kolumnę z głębokością. Jest łatwa do obliczenia, dlatego często traktuje się ją jako przyczynę problemów.

W grafie linków głębokość to jedynie odległość. Od czego? Odpowiedź na to pytanie decyduje o tym, czy liczba ma jakieś znaczenie, i stanowi nić przewodnią dla pięciu mitów przedstawionych poniżej.

Trzymamy na uwadze limity naszego własnego crawlera. Wykrywa on linki między domenami, a nie kliknięcia wewnątrz jednej witryny. Aby sprawdzić głębokość, nadal potrzebujesz narzędzi takich jak Screaming Frog, Sitebulb lub własnego skryptu, a my dodajemy informacje o tym, gdzie zaczyna się przekaz linkowy. Zobacz punkty wejścia, jak to działa.

Dlaczego głębokość mierzona od strony głównej myli na witrynach bogatych w linki

Głębokość indeksowania, odczytana sama w sobie, to tylko odległość od jednego miejsca. Miejsce, które ma znaczenie, to tam, gdzie linki naprawdę się zaczynają, a na witrynie z silnymi punktami wejścia często nie jest to strona główna.

Weź podstronę z hasłami, która znajduje się głęboko w strukturze menu. Trzy domeny linkują do niej. Jej rzeczywista odległość to jedno kliknięcie od punktu wejścia, a kolumna głębokości w raporcie z crawlowania tego nie pokaże.

Głęboka podstrona, która już otrzymuje link

Weź podstronę oddaloną o sześć kliknięć od strony głównej. Jeśli artykuł znajdujący się trzy kliknięcia głębiej linkuje do niej, użytkownik przybywający z zewnątrz dotrze do niej w jednym kroku, niezależnie od tego, co mówi eksport z crawlera.

Liczby dotyczące głębokości są najbardziej przydatne jako ranking tego, co sprawdzić jako pierwsze. Przestają być użyteczne w momencie, gdy są odczytywane jako werdykt dotyczący podstrony.

Ścieżki folderów nie są ścieżkami kliknięć

URL taki jak /a/b/c/ może być oddalony o jedno kliknięcie od strony głównej, ponieważ menu linkuje bezpośrednio do niego. Folder mówi Ci, jak witryna została zorganizowana, podczas gdy liczba kliknięć mówi, jak jest ona osiągana.

Przeniesienie podstrony do płytszego folderu zwykle oznacza przekierowanie i nowy adres dla linku, który już działa. Ta wymiana rzadko się opłaca, chyba że migracja i tak miała miejsce.

Krótka lista folderów, których faktycznie używają Twoje menu, jest lepszym punktem wyjścia niż pełne drzewo katalogów, które zawiera wiele podstron do których nikt nie linkuje.

Czas crawlowania zależy od ustawień, a nie od reguły

Ludzie pytają, jak długo powinien trwać crawl średniej wielkości witryny. Nie ma stałej odpowiedzi, ponieważ prędkość crawlowania, liczba żądań dozwolonych na sekundę, liczba wariantów parametrów i udział podstron renderowanych z opóźnieniem zmieniają ten wynik.

Uruchom mały crawl i zmierz czas. Pomnóż przez sekcje, które Cię interesują, i traktuj wynik jako szacunkowy plan, a nie jako benchmark.

Ponowne obliczenie głębokości od punktów wejścia

Weź listę wejść z toppages i traktuj każdy URL jako węzeł źródłowy. Następnie wykonaj przeszukiwanie wszerz (breadth-first walk) na eksporcie z crawlera i zanotuj najkrótszą ścieżkę kliknięć od każdej strony wejściowej do każdej podstrony docelowej.

Podstrona oddalona o pięć kliknięć od strony głównej, ale o jedno kliknięcie od silnie linkowanego artykułu, wcale nie jest głęboka. Po prostu znajduje się na innym gałęzi drzewa.

Oryginalny artykuł o PageRanku z 1998 roku modelował strukturę linków jako przechodzenie przez graf, a nie jako drzewo katalogów. Mierzenie od źródeł stosuje ten sam pomysł do Twojej witryny.

Najpierw źródła, potem odległości. To jest metoda. Zrób to raz, a kolumna głębokości zacznie wyjaśniać rzeczy. Przykład działania huba pokazuje to w praktyce.

Nadmierne wyniki crawlowania z powodu parametrów i dlaczego to im przypisuje się winę za głębokość

Parametry są zwykle powodem, dla którego raport głębokości wygląda alarmująco. Witryna może mieć rozsądną strukturę, a mimo to generować tysiące adresów z filtrów, sortowań i identyfikatorów sesji.

Rozwiązanie zależy od tego, jaki sygnał wyślesz, a każdy sygnał pełni inną funkcję.

Parametry zawyżają liczniki

Filtr, kolejność sortowania lub identyfikator sesji mogą zamienić jedną kategorię w setki adresów. Każdy wariant dodaje się do eksportu z crawlowania i rozcieńcza linki, które powinny wskazywać na czystą podstronę.

Zanim zmienisz jakiekolwiek ustawienia głębokości, policz warianty. Pogrupuj adresy według ścieżki i wypisz, jakie ciągi zapytania się pojawiają. Zwykłym rozwiązaniem jest przestanie linkowania do wariantów, a nie polowanie na nie za pomocą reguł.

Zacznij od parametrów, które pojawiają się najczęściej w eksportach linków, ponieważ te warianty już przyciągają linki i zasługują na pierwszą uwagę.

Sygnały, które nakazują crawlerowi zatrzymanie

Nie ma jednego uniwersального przełącznika, który mówi „przestań crawlować powyżej tego punktu” bez skutków ubocznych. Tag canonical wskazuje preferowany adres, dyrektywa noindex wyklucza podstronę z wyników, a usunięcie linków wewnętrznych do wariantu zmniejsza częstotliwość jego znajdowania.

Wybierz sygnał pasujący do problemu. Odpady crawlowania i indeksowanie są powiązane, ale nie są tym samym, a rozwiązanie jednego może pozostawić drugie bez zmian.

Przetestuj każdy sygnał na jednym wariancie, zanim zastosujesz go do całej grupy. Mały test pokaże, czy wariant pozostaje w indeksie w oczekiwany sposób.

Reguły robots.txt ukrywają, nie porządkują

Reguła disallow w robots.txt zatrzymuje zgodne boty przed pobraniem ścieżki. Nie usuwa URL, który już ma linki wskazujące na niego. Zatrzymuje również crawlera przed odczytaniem tagu canonical lub noindex na tej podstronie.

Przeczytaj reguły, zanim się na nich oprzesz. Zablokowana ścieżka może nadal pojawiać się jako goły adres w wynikach, więc połącz każdą blokadę z planem dotyczącym linków wskazujących na nią. Jeśli naprawa oznacza przeniesienie ścieżek, przewodnik migracji obejmuje kolejność prac.

Prosty audyt wymienia każdą regułę disallow obok URL, które obejmuje, więc możesz zobaczyć, które reguły blokują podstrony, które nadal zdobywają linki.

Sprawdzanie głębokości na wyjściu po renderowaniu

Liczby dotyczące głębokości zależą od tego, jakie linki crawler może zobaczyć. Podstrona obfitująca w skrypty może pokazywać mniej linków przy prostym pobraniu niż przeglądarka, więc raport głębokości może się różnić w zależności od narzędzia.

Utrzymaj porównanie krótkie i konkretne.

Porównaj źródło HTML z HTML po renderowaniu

Pobierz surowe źródło podstrony, a następnie DOM po renderowaniu i porównaj listy linków. Luki oznaczają, że część Twojej głębokości pochodzi z JavaScript, a nie z znaczników.

Policz linki w obu wersjach dla pięciu reprezentatywnych podstron i zanotuj, które sekcje pojawiają się dopiero po renderowaniu. Ta krótka lista powie Ci, gdzie liczba głębokości może być wiarygodna.

Zwróć uwagę, czy różnica pojawia się tylko na jednym szablonie. Luka na poziomie szablonu to naprawa, którą wykonuje się raz, podczas gdy rozproszone luki wymagają pracy podstrona po podstronie.

Linki w widgetach po stronie klienta

Ściana produktów zbudowana w React może pokazywać tytuły i krótkie opisy, podczas gdy obrazy i linki za nimi ładują się później. To, czy to wystarczy, zależy od linków, więc sprawdź, czy każda karta zawiera link, który można zindeksować.

Wyobraź sobie siatkę czterdziestu produktów, z których tylko dwanaście jest w wyjściu serwera. Pozostałe dwadzieścia osiem jest jedno kliknięcie od użytkownika, ale niewidoczne w źródle, a ta luka pojawia się jako dodatkowa głębokość w Twoim raporcie z crawlowania.