Crawler

Ein Crawler ist ein Programm, das Suchmaschinen verwendet, um Daten (Information) aus dem Internet zu sammeln. Besucht ein Crawler eine Website, dann liest er alle Inhalte und Texte der Website aus und speichert sie in einer Datenbank. Zusätzlich speichert er alle internen und externen Links der Website. Die gespeicherten Links besucht der Crawler dann zu einem späteren Zeitpunkt und gelangt so im Internet von einer Website zur nächsten. Dadurch erfasst und indiziert er alle Websites, die mindestens einmal von einer anderen Website aus verlinkt wurden.