Akzeptieren

Diese Website verwendet Cookies. Durch die Nutzung dieser Webseite erklären Sie sich damit einverstanden, dass Cookies gesetzt werden. Mehr erfahren

Du bist hier:  Seitenreport    Artikel

Zur Zeit wird gefiltert nach: crawler
Filter zurücksetzen

Webcrawler aussperren, die die robots.txt ignorieren

05. June 2014
Matthias GläßnerKommentare 0

Webcrawler können für erheblichen zusätzlichen Traffic auf Deiner Website sorgen und Inhalte in Suchmaschinen bringen, die eigentlich nicht für die Öffentlichkeit gedacht sind. Dies können z.B. Nutzerprofile sein, die zwar öffentlich zugänglich sein, in Suchmaschinen aber nicht auftauchen sollen. Was aber tun, wenn sich ein Crawler nicht an die Angaben in der robots.txt hält und wahllos Seiten indexiert, die explizit ausgeschlossen werden sollen?

Zurück


Mehrfach empfohlen

Seitenreport ist einer der bekanntesten SEO und Website Analyse Dienste im deutschsprachigen Raum und wurde u.a. schon empfohlen:
von Mr. Wong im Wong Letter
vom Leserservice der Deutschen Post
vom Technik Blog SiN
und vielen anderen

Seitenreport API

Verfolge die SERP Positionen Deiner Keywords und erhalte Informationen über verwendete Mikroformate, frage die Ergebnisse unserer Analysen live ab oder greife auf unsere History-Datenbank zu. Dies alles bietet Dir die neue Seitenreport API. Kontaktiere uns, um weitere Infos zu erhalten.