Bei der Indexierung handelt es sich um das Aufnehmen von Webseiten in ein geordnetes Register bzw. Verzeichnis, dem Index. D.h. nur die Webseiten, die von Google indexiert wurden, können über die Suchmaschine durch Nutzer:innen auch gefunden werden. Das Thema der Indexierung ist für Suchmaschinen demnach ein elementarer Bestandteil für Euch.
Der Index von Suchmaschinen ist deutlich komplexer als herkömmliche Verzeichnisse. Wir haben es mit keiner einfachen alphabetischen oder chronologischen Übersicht zu tun, sondern mit einer Vielzahl von unterschiedlichen Kriterien. Google versucht grundsätzlich alles zu indexieren, was sich auffinden lässt. Dies geschieht mit Hilfe sogenannter Crawler. Hierbei gibt es nur zwei Einschränkungen:
- Websiten-Betreiber:innen möchten nicht, dass die eigene Web site indexiert wird
- Die Internet site entspricht nicht den Google Richtlinien
Unser Gastautor Alex Wolf zeigt, warum eine Indexierung so wichtig für Euch ist und in welchen Schritten Ihr herausfindet, ob Eure Internet site indexiert ist.
Warum eine Indexierung wichtig ist
Eine Suchmaschine lebt von zwei Eigenschaften:
- einem umfangreichen Index an Internet websites
- einem klugen Algorithmus, um die besten Ergebnisse aus dem Index zu einer Suchanfrage zu liefern
Zweites klappt nur erfolgreich, wenn auch passende und aktuelle Seiten im Index zu finden sind. Gerade bei Nachrichten spielt die Aktualität eine besonders große Rolle. Nur wenn Suchmaschinen genug Futter haben, anhand dessen der Algorithmus lernen kann, können gute Suchergebnisse ausgegeben werden.
Wie Ihr herausfindet, ob Eure Site indexiert ist
Google bietet Euch zwei schnelle und easy Wege an, um herauszufinden, ob Sites indexiert sind oder nicht. Eine web page:-Abfrage und die Überprüfung über die Google Lookup Console.
Im nächsten Schritt erklären wir Euch genauer, wie Ihr mit diesen beiden Wegen arbeitet.
1. Weg: Überprüfung mit einer web page:-Abfrage
Die internet site:-Abfrage funktioniert wie eine normale Suche über die Google Suchmaschine. Die Suche wird lediglich um einen Parameter ergänzt und dadurch stark eingeschränkt, um genau das Ergebnis zu bekommen, nach dem person sucht.
Um zu überprüfen, ob die Webseite meineurl.de/produkte/tremendous-geheimes-geheimprodukt indexiert ist, könnt Ihr natürlich nach „meineurl tremendous geheimes geheimprodukt“ suchen. Der Nachteil dieser Suchanfrage ist, dass keine Eingrenzung vorgenommen wurde. Es werden Euch alle Ergebnisse ausgegeben, die zu dieser Suchanfragen passen. Mit dem vorangestellten Parameter „site:“ wird tatsächlich nur nach der darauffolgenden Webseite gesucht.
Mit der Abfrage nach „site:“ gefolgt von der URL sucht Ihr ausschließlich nach der URL im Index.
Die website:-Abfrage lässt sich noch um weitere Suchkriterien ergänzen.
- website:meineurl.de Schuhe: Liefert alle Unterseiten, die den Begriff „Schuhe“ beinhalten.
- site:meineurl.de intitle: Schuhe: Lieferte alle Unterseiten, die „Schuhe“ im Titel stehen haben.
- web-site:meineurl.de filetype:docx: Liefert alle .docx-Dateien einer Web page aus dem Index. Das funktioniert natürlich auch mit anderen Dateitypen.
- web page:meineurl.de inurl:hose: Liefert alle Ergebnisse unserer Webseite mit „hose“ in der URL.
2. Weg: Überprüfung mittels Google Search Console
Die Google Look for Console liefert einen kompletten Position über den Stand der Indexierung. Die Überprüfung mit der Google Research Console setzt jedoch voraus, dass Eure eigene Web page dort hinterlegt und verifiziert ist.
Durch die Eingabe der URL in das Suchfeld innerhalb der Google Look for Console könnt Ihr den aktuellen Stand der Indexierung abfragen.
Um den Indexierungsstand der gesamten Web site zu prüfen, gibt es den Bereich „Abdeckung“.
Im Bereich „Abdeckung“ der Google Look for Console sehen wir die indexierten Seiten sowie die Seiten, die wir von der Indexierung ausschließen. Die indexierten Seiten teilen sich in zwei Position in der Google Lookup Console:
- Gültige Seite(n) mit Warnungen: Die erscheinen zwar im Index der Suchmaschinen, es gibt jedoch Unstimmigkeiten für die Suchmaschine. Unstimmigkeiten können beispielweise dadurch entstehen, dass die indexierte Seite nicht in der Sitemap auftaucht oder wenn ein Crawlen der Seite mittels robots.txt unterbunden wurde.
- Gültig: Unter Gültige Seiten fallen alle regulären Seiten, die ohne Fehler oder Unstimmigkeiten indexiert werden konnten.
Wie können Websites von Suchmaschinen indexiert werden?
Seiten können auf zwei Arten indexiert werden – über einen passiven oder einen aktiven Weg. Beide Ansätze werden offiziell von Google unterstützt, jedoch gibt es natürlich keine Garantie für die Indexierung.
Der passive Ansatz
Für den passiven Ansatz müsst Ihr als als Web page-Betreiber:in keine eigenen Maßnahmen ergreifen. Google versucht die Web page zu finden und zu indexieren. Voraussetzung hierfür ist, dass die Site nicht für Crawler blockiert wird und im besten Fall eingehende Verlinkungen von intern oder extern hat. Ob die Site lesbar für Crawler ist sowie den Position der Indexierung, könnt Ihr auch mit dem Seo-Software Ryte auslesen.
Bei Ryte erhaltet Ihr eine komplette Übersicht über die Crawlability sowie den Indexierungsstand der gesamten Web page.
Der passive Ansatz kann zu Problemen führen, wenn nur wenig oder keine eingehenden Verlinkungen zur Internet site vorhanden sind. Zudem kann es sein, dass Inhalte deutlich zeitverzögert indexiert werden.
Der aktive Ansatz
Beim aktiven Ansatz wird der Suchmaschine eine Liste mit URLs, eine sogenannte Sitemap, zur Verfügung gestellt. In der Regel wird die Sitemap an einem Ort auf der Domain gehostet, auf den Suchmaschinen zugreifen können. Zusätzlich lässt sich der Speicherort der Sitemap in der robots.txt Datei angeben.
Mit Hilfe der Sitemap können Suchmaschinen Änderungen an der Web page schneller erkennen, da die Sitemap zusätzlich einen Zeitstempel mit dem Datum und der Uhrzeit der letzten Änderung hat.
Zusätzlich kann die Sitemap auch über die Google Lookup Console eingereicht werden. Hierzu wird im linken Menü der Punkt „Sitemaps“ ausgewählt und dort der Pfad zur Sitemap angegeben. Selbstverständlich könnt Ihr auch mehrere Sitemaps, für bspw. unterschiedliche Sprachen, einreichen.
Sitemap über die Google Lookup Console einreichen
Ihr könnt in der Google Lookup Console aber auch für einzelne URLs / einzelne Webseiten überprüfn, ob diese bereits bei Google indexiert sind. Dazu gebt Ihr die zu untersuchende URL entweder in das obere Suchfeld ein oder klickt in Seitenmenü auf „URL-Prüfung“ und gebt dann die URL ein. Google prüft zunächst den Indexierungsstatus und bietet Euch anschließend die Möglichkeit, die Indexierung zu beantragen (sofern noch nicht geschehen).
Allgemein ist die Prospect einer zeitnahen Indexierung beim aktiven Ansatz höher als bei dem passiven Ansatz.
Wie lange dauert eine Indexierung?
Um es mit den Worten von John Müller (Webmaster Traits Analyst bei Google) zu sagen: „It depends.“. Die Zeit, bis eine Web page indexiert wird, hängt davon ab, wie häufig die Website gecrawlt wird, wie häufig es auf der Website Änderungen gibt und wie die Lesbarkeit für Suchmaschinen ist.
Im ersten Schritt wird die Web site lediglich gecrawlt. Das kann binnen weniger Tage passieren. Anschließend werden die gecrawlten Inhalte indexiert. Bei diesem Vorgang können tatsächlich sogar einige Wochen ins Land gehen. Damit dann noch Eure Webseiten auf der ersten Seite bei Google angezeigt werden, bedarfs es einer guten Suchmaschinenoptimierung (Website positioning), viel Arbeit, Fleiß und Geduld.
Lässt sich die Indexierung beschleunigen?
Prolonged story shorter: Die Indexierung lässt sich nicht beschleunigen. Zwar gibt es die Möglichkeit, in der Sitemap den einzelnen URLs eine Priorität zu geben, diese wird jedoch seitens Google nicht mehr verarbeitet. Auch das mehrfache Einreichen über die Google Search Console beschleunigt den Prozess der Indexierung nicht. Es hilft tatsächlich nur Geduld.
Wie kann ich Webseiten deindexieren?
Es gibt mehrere Methoden, bereits indexierte Web-sites deindexieren zu lassen. Zum einen lässt sich dies über die robots-Meta-Angaben auf der Internet site realisieren. Durch die Angabe wird die Web page entweder erst gar nicht in den Index aufgenommen oder beim erneuten Crawlen deindexiert.
Sollte eine Webseite nicht mehr verfügbar sein und diese dadurch entweder eine 404 Meldung ausgeben oder by way of 301 / 302 weiterleiten, wird die entsprechende Webseite nach einer Weile automatisch deindexiert.
Wichtig: Die Aufnahme einer Webseite in die robotic.txt führt nicht dazu, dass die Webseite aus dem Index verschwindet oder gar nicht erst indexiert wird. Das hat lediglich zur Folge, dass die Webseite nicht gecrawlt wird. Durch eingehende Verlinkungen kann die Webseite dennoch indexiert werden. Ein Ausschluss des Crawlers bedeutet nicht, dass eine Webseite nicht indexiert wird.
Troubleshooting: Meine Webseite erscheint nicht im Index
Wenn Ihr Eure eigenen Webseiten nicht über die Suchmaschine finden könnt, kann das unterschiedliche Gründe haben. Um schnell auszuschließen, dass das Trouble an der Webseite selbst liegt, haben wir eine Checkliste mit wichtigen Fragen für Euch parat:
1. Ist die Web page über die URL von außen erreichbar?
Prüft mit verschiedenen Endgeräten, ob die Webseite auch außerhalb Eures eigenen Netzwerks erreichbar ist. Gibt die Webseite vielleicht einen 404-Statuscode zurück?
2. Ist eine Weiterleitung aktiv?
Prüft, ob es eine aktive 301- oder 302-Weiterleitung gibt und entfernt diese.
3. Prüfe die Meta-Robots-Angaben deiner Website
Sollte die Anweisung „noindex“ oder „none“ in den Meta-Robots-Tags auftauchen, wird die Indexierung unterbunden.
4. Zeigt ein kanonisches Tag auf eine andere Webseite?
Ein kanonisches Tag, auch Canonical Tag, zeigt in der Regel auf den ursprünglichen Inhalt einer Webseite. Die Anweisung hilft Suchmaschinen mit Duplicate Material umzugehen.
5. Wird das Crawlen durch die robots.txt unterbunden?
Wenn die Webseite oder das Verzeichnis nicht gecrawlt werden darf, wird die Indexierung deutlich erschwert und kann sich dadurch verzögern oder auch gar nicht stattfinden.
Tools, wie bspw. Screaming Frog Search engine optimization Spider, liefern Euch u. a. einen schnellen Überblick über die hinterlegten Weiterleitungen und Meta-Angaben sowie die Erreichbarkeit der Webseite.
About the Author
