Crawlen / Crawling

Was versteht man unter crawlen / crawling im Kontext SEO?

Crawling, eingedeutscht auch „crawlen“, bezeichnet den Prozess, durch den Suchmaschinen neue und aktualisierte Inhalte im Web entdecken, z.B. neue Websites, neue Inhalte oder Änderungen an bestehenden Websites sowie gelöschte, nun nicht mehr vorhandene Seiten und URLs (tote Links).

Zu diesem Zweck verwendet die Suchmaschine ein Programm, das als „Crawler“, „Webcrawler“, „Bot“ oder „Spider“ bezeichnet wird. Es folgt einem algorithmischen Prozess, um zu bestimmen, welche Websites wie häufig gecrawlt werden sollen.

Während sich der Crawler einer Suchmaschine durch deine Website bewegt, erkennt und speichert er auch alle Links, die er auf deinen Seiten findet, und fügt sie einer Liste hinzu, die später gecrawlt werden soll. Auf diese Weise werden neue Inhalte entdeckt.

Indem der Suchmaschinenspider den gefundenen Links folgt, wird ein Großteil der im Internet vorhandenen Seiten gefunden und indexiert.

Ein Nachteil dieser Methode (Pull-Indizierung) ist, dass sie relativ viele Ressourcen erfordert und es längere Zeit dauern kann, bis der Spider neue oder geänderte Inhalte findet. Ansätze wie die Initiative IndexNow (Push-Indizierung), bei der Website-Publisher Änderungen aktiv an Suchmaschinen übermitteln, wollen dies optimieren.