Crawler

Definition

Crawler, auch Webcrawler, Spider, Robots, Searchbot oder einfach Bots genannt, bezeichnen Programme, die das World Wide Web automatisch durchsuchen, um Seiten aufzufinden und zu indexieren. Der Name leitet sich ab vom „WebCrawler“, der im Jahr 1994 ersten, öffentlich erreichbaren Suchmaschine. Da es mittlerweile eine Vielzahl an Suchmaschinen gibt, ist auch die Menge der Webcrawler, darunter der bekannte „Googlebot“, entsprechend hoch.

Neben der Indexierung von Seiten, die für Website-Betreiber einen großen Nutzen darstellt, können entsprechend programmierte Crawler auch Schaden anrichten, indem beispielsweise Nutzerdaten oder E-Mail-Adressen ausgespäht werden. Oftmals wird daher in den Kontaktdaten von Websites das Zeichen @ durch „(at)“ ersetzt, um diese vor dem Zugriff schädlicher Bots zu schützen. Zudem können die entsprechenden Crawler anhand spezieller Tools identifiziert werden.