Strona niewidoczna w Google – dlaczego ? [czyli crawler i indexacja]

Oraz równie istotne pytanie nr 2 : NA ILE moja strona jest widoczna w google (czyli coś się wyświetla).

Strona internetowa nie jest widoczna w wynikach wyszukiwania google bo:

  • nie dodano jej do indeksu google (zgłosić możesz Ty lub inni)
  • ma słabą lub niezoptymalizowaną treść (no-SEO), i google uznał ją za mało wartościową
  • cała domena dostała bana za złe pozycjonowanie (agresywne, nieostrożne, przesadzone czyli zniknęła z indexu)
  • dostała filtr za złe pozycjonowanie (została zepchnięta o kilkadziesiąt pozycji)
  • wystąpiły problemy techniczne np. kod ma znacznik noindex, blokada w pliku robots.txt, lub mapy strony

Jak to sprawdzić ? Na oba pytania poznasz odpowiedź wpisując do google frazę: site:twojadomena.pl
Pokaże to liczbę zaindexowanych podstron Twojej witryny – wg długości linków (adresów).
re
Zacznijmy od zgłoszenia do google. Aby strona www wyświetlała w wyszukiwarce google, crawler (czyli robot przeszukujący) musi najpierw trafić na jej adres.

Są dwie możliwości wskazania mu tego adresu:

1/ założenie konta Google Search Console i poproszenie o obejrzenie danej strony (dodanie podstrony do indeksu). Jest to zawsze adres POJEDYŃCZY.

2/ umieszczenie linku do strony, na INNEJ zindeksowanej stronie. Taką stroną jest np. Twój profil Facebookowy lub katalog stron.

Crawler odwiedza stronę, a zbiór algorytmów podejmuje decyzję, czy tę pojedyńczą stronę ZINDEXOWAĆ 

(i jaką nadać jej wstępną wartość).

Dodać do indexu to innaczej zapisać w gigantycznej bazie danych Google. Z niej pobierane są odpowiedzi na ludzkie pytania (wynik wyszukiwania = lista odpowiednich stron z opisami).

Archiwum jako baza danych google. Uzytkownik musi dodać stronę do indexu, wpisać słowa kluczowe aby zapewnić jej widoczność

Google odpowiadając na Twoje pytanie, nie zaczyna szukać po całym internecie, lecz jedynie w swojej bazie danych (kiedyś nazywaliśmy to archiwum) i robi to błyskawicznie!

Czy index (innaczej SERP-y, archiwum na serwerach, bazy danych) i rzeczywistość mogą się różnić ?

TAK

Wolisz posłuchać ? 🎤 mamy podcast na Spreakerze !  (reklama w internecie, SEO itp. świetny do prasowania)

Czy możliwe jest częściowe zindexowanie witryny ?

Tak. Są witryny, które mają np. 10-90% zindexowanych podstron.

Czy możliwe jest częściowe zindexowanie konkretnej podstrony ?? (np. połowa tekstu)

Tak.

Twórcy google i innych wyszukiwarek mają świadomość, że większość internetu to strony / podstrony o zduplikowanej lub śmieciowej zawartości. Dlatego nie indexują wszystkiego.

Wg statystyk Ahrefs 90% podstron w internecie nie ma żadnego przychodzącego ruchu organicznego. To znaczy nikt nie wszedł na nie bezpośrednio z bezpłatnych wyników wyszukiwarki. Dzieje się tak, zarówno wskutek śmieciowej treści jak i BRAKU optymalizacji treści (no SEO).

Czy możliwe, że nagłówek strony lub jej treść w google jest inna niż na prawdziwej stronie ?!

Tak.

1/ Google, dla swoich potrzeb (SERP-y, czyli wyniki wyszukiwań) robi kopię strony / podstrony. Jeśli robot – crawler  rzadko Cię odwiedza, to treść w wyszukiwarce może być nieaktualna. Można to naprawić np. via zgłoszenie w Search console. BTW: odpowiednikiem tego narzędzia na Facebooku jest Fetch (aportowanie)  https://developers.facebook.com/tools/debug/

2/ PONADTO -> dla wyszukiwarki ważne słowo to “relevant” czyli stosowny/odpowiedni. Algorytmy mogą uznać, że lepiej link do Twojej strony opatrzyć zbitką słów, która jest zarówno odpowiedniejsza (“jego zdaniem”) oraz unikalna. Faktycznie zapobiega to 10 takim samym meta title i meta description, co Twojej konkurencji. Można spróbować to trochę ograniczyć stosując zasady długości tych zmiennych: Tytuł 50-70 znaków, Opis 60-160 znaków. Wówczas damy sygnał googlowi “aby raczej nie zmieniał”.

Jakie są inne powody braku widoczności ?

Google nie widzi Twojej strony bo:

  • masz blokadę indeksowania (znacznik noindex w plikach strony)
  • wystąpiła blokada dla robotów (crawlerów) User-agent: * disallow / w pliku .htaccess lub robots.txt
  • strona jest zablokowana w trybie publicznym np. zahasłowana lub under construction, CHOĆ Ty ją widzisz jako zalogowany administrator
  • wystąpił duplicate content, czyli ta sama treść powiela się na różnych stronach
  • dostałeś karę od Google (ban lub filtr)
  • Google zdiagnozował na Twojej stronie złośliwe oprogramowanie

Czy umiecie zindexować stronę, przyśpieszyć indeksację lub zwiększyć ilość podstron zindeksowanych w wyszukiwarce Google.pl ?

Tak, użyj klawisza “Konsultacja” . Skąd to umiemy ? Od 20 lat tworzymy strony internetowe. Katowice to nasza siedziba, ale pracujemy dla Klientów z całej Polski.

Dlaczego google robi jak wyżej ?

linie i słupy energetyczne konieczne do zasilania serwerów google

Chodzi o marnotrawstwo energii

“Rzecznik techniczny” Google, John Mueller (formalnie Senior Webmaster Trends Analyst) mówi wprost, że celem wyszukiwarki nie jest zindeksowanie wszystkich podstron w internecie, ponieważ jest to zasób gigantyczny i stale rosnący.

“Rzeczniczka” konkurencyjnej wyszukiwarki BING –  Christi Olson, dodaje że bezładne crawlowanie (czyli przeczesywanie) internetu w poszukiwaniu nowych stron/podstron to marnotrawienie energii.

christi olson about web search

Ich stanowiska sugerują, że być może POPROSZENIE o crawlowanie/ zindeksowanie strony/podstrony będzie możliwe w przyszłości jedynie sposobem “na żądanie”.

Oczywiście prośba może być rozpatrzona pozytywnie lub negatywnie, przez algorytmy.

Jak crawler przechodzi z jednej podstrony do drugiej (w ramach tej samej witryny) ??  Wykonuje to dzięki Twojemu systemowi linków wewnętrznych np. poprzez MENU strony.

Przykładowo przechodzi z strony ‘Home’ na podstronę ‘Oferta1’ lub ‘Oferta2’.

Ważne punkty:

  • Od marca 2021 robot google przeszukuje, indexuje i rankinguje Twoją stronę WYŁĄCZNIE w wersji mobilnej. To znaczy (w uproszczeniu) że widzi ją tak, jak Ty na komórce.
  • Komenda site:Twojadresstrony.pl nie pokazuje wszystkich zindexowanych przez Googlebota podstron Twojej witryny. Pokazuje próbkę. Kolejność tych podstron jest zmienna. Pokazywane są według długości linków. Ta lista nie pokazuje ich siły.  Pełną listę zindexowanych podstron można obejrzeć (wraz z ew. błędami) jedynie w Google Search Console.
  • Czy sitemapa załatwia problem zindexowania wszystkich podstron. Nie (ale jest wartościowa).
  • Czy elementy strukturalne google (Rich snippets) mają sens ? Tak ( tutaj podstawowe narzędzie  – https://search.google.com/test/rich-results)
  • Crawler, przeczesując internet zużywa energię. Chciałby zużywać jak NAJMNIEJ. Zatem takie pojęcia jak czas odpowiedzi Twojego serwera oraz LCP (Largest Contentful Paint), czyli największy element strony zaczynają mieć duże znaczenie (zwykle jest to foto główne – na górze danej podstrony tzw. Above the fold).

Jak zmierzyć szybkość strony (i poznać inne parametry) ? Są dwie szkoły:

1/ Co ważne dla google ? Jego własny test wykonywany z zagranicy https://pagespeed.web.dev/

2/ Co ważne dla normalnego człowieka ? Tu polecam uwadze: test robiony z Polski https://www.supermonitoring.pl/p/szybkosc-strony oraz dowolny test z zagranicy np. Pingdom / GTmetrix/ lub https://www.webpagetest.org/

Istotne, aby dostrzegać walory WIĘCEJ niż jednego testu/narzędzia.

  • Indeks – Google przechowuje w indeksie wszystkie strony internetowe, o których wie. Wpis każdej ze stron w indeksie określa jej treść i lokalizację (adres URL). Podczas indeksowania Google pobiera, odczytuje i dodaje stronę do indeksu: kilka stron mojej witryny zostało dziś zindeksowanych przez Google.

  • Skanowanie – proces wyszukiwania nowych lub zaktualizowanych stron internetowych. Google wykrywa adresy URL, używając linków, odczytując mapy witryn, a także na wiele innych sposobów. Google skanuje internet w poszukiwaniu nowych witryn, a potem (w razie potrzeby) indeksuje te, które udało mu się wyszukać.

  • Robot – automatyczne oprogramowanie, które skanuje (pobiera) i indeksuje strony z internetu.

  • Googlebot – ogólna nazwa robota Google. Googlebot nieustannie indeksuje internet.

SEO – optymalizacja witryn pod kątem wyszukiwarek, czyli proces ulepszania witryn na potrzeby wyszukiwarek. To także nazwa stanowiska osoby, która zajmuje się tym zawodowo: zatrudniliśmy specjalistę SEO, aby zwiększyć naszą obecność w internecie.

Na koniec … początek innego, mojego artykułu o SEO

(zaczerpnięte z https://studio72.net/blog/fryzjer-i-adwokat-katowice-co-lepsze-pozycjonowanie-strony-czy-adsy-adwords/)

Ile google ma stron i podstron w swoim indexie ?

To setki miliardów. Np. strony powiązane z miastem Katowice, to mikroskopijny okruszek w tych zbiorach danych.

Jak te strony tam trafiły ?

Zostały zgłoszone przez twórców, agencje,  roboty przeszukujące same na nie natrafiły (więcej tutaj) i tak dalej …

Czy Twoja strona ma znaczenie dla google ?

Nie.

Jeśli Ciebie zabraknie będą inni (w nadmiarze).

Czy z google się można dogadać ?

Nie. To zbiór schematów (czyt. algorytmów). One nie rozmawiają, tylko pracują.

Na czym polega pozycjonowanie ?

Na znajomości tych schematów.

Czy schematy się zmieniają ?

Tak. Są zmiany ogromne typu algorytm Pingwin z 2012, obcinający sztuczne linki (był to tzw. game changer, który zbankrutował wiele biznesówORAZ dziesiątki mikrozmian, co miesiąc.

Ile google zarabia na pozycjonowaniu ?

Zero.

A ile zarabia na systemie reklamowym Google Ads (dawne Adwords) ?

To ponad 80% jego przychodów. Ca 147 miliardów dolarów w 2020 roku (źródło: CNBC)

KONIEC

Właśnie czytasz BLOGA agencji interaktywnej Studio72 z Katowic. Nasza strona firmowa znajduje się pod adresem https://studio72.net

tomasz kita z katowic Autor:
Tomasz Kita [bio]
Studio72 / Katowice
Masz pytania, uwagi ? Napisz do mnie (mini-formularz tutaj).