Die Rolle der Webcrawler
Der wohl bekannteste Webcrawler ist der Googlebot. Er prüft Webseiten auf besonders häufig vorkommende Worte, verknüpft sie mit der URL und speichert dies als Indexierung ab. Auf Grundlage dieser Schlüsselwörter entscheiden Suchmaschinen dann, wer die beliebten oberen Plätze einer Suchanfrage ergattert. Doch neben den Suchmaschinen gibt es noch viele weitere Einsatzgebiete von Crawlern im Netz. …