Wir verwenden auf dieser Webseite Cookies, um Ihnen ein bestmögliches Nutzererlebnis bieten zu können. Wir analysieren das Nutzungsverhalten der Besucher zu Zwecken der Reichweitenmessung und zur Optimierung unseres Angebots.
Mit der Nutzung unserer Dienste erklären Sie sich einverstanden, dass wir Cookies verwenden. Ein Widerspruch ist jederzeit möglich, mehr dazu in unserer Datenschutzerklärung.

| 06151 78781-51 | info@seo-ag.de |

Crawler

Definition

Crawler, auch Webcrawler, Spider, Robots, Searchbot oder einfach Bots genannt, bezeichnen Programme, die das World Wide Web automatisch durchsuchen, um Seiten aufzufinden und zu indexieren. Der Name leitet sich ab vom „WebCrawler“, der im Jahr 1994 ersten, öffentlich erreichbaren Suchmaschine. Da es mittlerweile eine Vielzahl an Suchmaschinen gibt, ist auch die Menge der Webcrawler, darunter der bekannte „Googlebot“, entsprechend hoch.

Neben der Indexierung von Seiten, die für Website-Betreiber einen großen Nutzen darstellt, können entsprechend programmierte Crawler auch Schaden anrichten, indem beispielsweise Nutzerdaten oder E-Mail-Adressen ausgespäht werden. Oftmals wird daher in den Kontaktdaten von Websites das Zeichen @ durch „(at)“ ersetzt, um diese vor dem Zugriff schädlicher Bots zu schützen. Zudem können die entsprechenden Crawler anhand spezieller Tools identifiziert werden.

Mehr SEO Know-how?



SEO Lexikon


Wollen Sie wissen, wie wir unser SEO Know-how in der Praxis anwenden? Wir zeigen Ihnen Resultate aus unseren SEO-Beratung – und zwar mit vielen Einzelheiten. Erleben Sie, was mit SEO Know-how alles möglich ist und nehmen Sie wertvolle SEO-Tipps aus der Praxis mit! Es erwarten Sie SEO-Projekte aus den Bereichen Unternehmensberatung, Weiterbildung, Event und Industrie.

> Mehr erfahren