Ein Spider (aus dem Englischen wörtlich als "Spinne" bzw. "Webspinne" ins Deutsche zu übersetzen) ist ein leistungsstarkes Computerprogramm, das so konzipiert ist, dass es das Internet automatisch und selbstständig durchsucht, um die Webseiten nach bestimmten Kriterien zu ermitteln und zu analysieren. Am bekanntesten darunter sind die so genannten Webcrawler, die auch als Robots bzw. Bots bezeichnet werden, da sie ja wahrlich wie zuverlässige Roboter arbeiten. Diese werden an erster Stelle von den Suchmaschinen in regelmäßigen Zeitanständen eingesetzt, um die Webseiten zu besuchen, zu begutachten und zu indexieren. Weniger bekannt ist, dass Spider auch von Webseitenbetrebern benutzt werden, um damit gezielt Informationen zu sammeln, wie zum Beispiel elektronische Adressen (E-Mail-Adressen) oder RSS-Newsfeeds.

Die Funktionsweise des Webcrawlers ist, das World Wide Web ähnlich wie ein Internetsurfer die Webseiten nach Links zu Webadressen (URL) zu durchforsten, die aufgefundenen zu Beginn zu speichern und als nächstes die jeweiligen Webseiten durch Anklicken der auf sie verweisenden Links auch zu besuchen, zu lesen und zu bewerten.

Die fleißigen Spinnen können von Ihnen wie auch von jedem Internetbenutzer verwendet werden. Dafür stehen Ihnen viele Spider als Freeware zum Download zur Verfügung. Als Benutzer können Sie ihnen durch die Eingabe von bestimmten Parametern Ihre eigenen Auswahlkriterien vorgeben. Die auf diese Weise für Sie gefundenen Informationen können darauf lokal auf Ihrem Computer gespeichert werden. Wichtig ist es jedoch, dass Sie dem Spider auch feste Abbruchskriterien angeben, damit das Programm nicht unendlich lang läuft und Ihnen extrem viele Daten liefert.

Es können dabei auch nur gezielt ausgewählte Teile von bestimmten Webseiten gespeichert werden, wie zum Beispiel nur die Texte oder nur die Fotos. Der Vorteil für Sie als Anwender ist die Möglichkeit, die gespeicherten Webseiten offline besuchen, betrachten und bearbeiten zu können. Es wird hierbei von "Spiegeln" von ganzen Webseiten oder Webseitenteilen auf die Festplatte des Rechners gesprochen.

Sehr sinnvoll und legitim kann der Einsatz eines Spiders zum Spiegeln einer Webseite sein, wenn es vor allem darum geht, diese zu archivieren sowie als Nachweis der Urheberrechte zu sichern. Auf der anderen Seite ist aber auch ein Missbrauch möglich, wenn eine fremde Webseite gespiegelt, überarbeitet und als neue eigene herausgegeben wird