Du bist hier: Seitenreport Forum Suchmaschinenoptimierung OnPage Optimierung Robots.txt | Nur Startseite zum Crawlen freigeben!
Robots.txt | Nur Startseite zum Crawlen freigeben!
| Verfasst am: 11. 10. 2011 [16:05] | |||
shoxii Dabei seit: 14.04.2011  Themenersteller 15 Beiträge | Beitrag hilfreich? | ||
| Hallo zusammen, kurze Frage. Wie kann ich nur die Startseite zum Crawlen freigeben per Robots.txt? Bei dieser Anwendung: User-agent: * Disallow: / Allow: /index.php Liefert Google folgendes: Zugriff auf Startseite Googlebot wird von ... blockiert. Ich würde mich sehr über eine rasche Antwort freuen. Dank vorab. Beste Web-Grüße SeoBaedorf. | |||
| Verfasst am: 11. 10. 2011 [17:18] | |||
joerg Dabei seit: 09.06.2009   1540 Beiträge | Beitrag hilfreich? | ||
| Hallo shoxii Ein ähnliches Problem hatte ich auch mal für dieses Verzeichnis. http://joerghuelsermann.de/farbe/ Also du kannst dir gerne meine robots.txt anschauen. Es ist jetzt stark abhängig davon wie deine Seite insgesamt aussieht. Mit dem Wildcard zeichen * kann man schon viel realiseren aber nicht alles. Also vermeiden solltest du auf jeden Fall. Disallow: / Disallow: /*.txt Disallow: /r Gruß Jörg | |||
| Verfasst am: 11. 10. 2011 [19:01] | |||
Ultima Dabei seit: 09.07.2010   759 Beiträge | Beitrag hilfreich? | ||
| Hallo shoxii, hi Joerg, man könnte auch einfach das Meta-Tag Robots auf allen Seiten auf noindex setzten und nur die Startseite auf index. Gruß Thomas Mein Portal: Ultima-Project.net - Gold für alle | |||
| Verfasst am: 11. 10. 2011 [19:22] | |||
joerg Dabei seit: 09.06.2009 1540 Beiträge | Beitrag hilfreich? | ||
| Hallo Thomas Du das ist schon ein gewaltiger Unterschied. Eine Sperre in der robots.txt bedeutet das die Datei gar nicht erst aufgerufen wird. Maximal der Head wenn die Seite über eine Umleitung aufgerufen werden sollte. Ausserdem hatte ich mit noindex,nofollow am Anfang experimentiert. Folge die SVG Dateien waren im Index. Also dieses Metatag empfinde ich so was von überflüssig. Und ich werde nur noch die robots.txt für solche Fälle einsetzen. Bei den wenigen Angaben von shoxii kann man auch nicht konkreter werden. Was ist wenn er/sie zum Beispiel PDF Dateien nur sperren möchte? Gruß Jörg | |||
| Verfasst am: 11. 10. 2011 [20:54] | |||
Raptor Dabei seit: 10.05.2009  1159 Beiträge | Beitrag hilfreich? | ||
"shoxii" schrieb: User-agent: * Disallow: / Allow: /index.php Du musst "/" (die echte Startseite) freigeben und nicht "/index.php". Im Grunde würde ich folgendes versuchen: User-agent: * Disallow: / Allow: /$ Das sollte alles blockieren, ausser der Hauptseite. Das $-Zeichen steht wie beim RegEx für's String-Ende. Nach belieben kannst du auch noch ein "Allow: /index.php" anfügen, was aber eigentlich nicht nötig ist. | |||
| Verfasst am: 12. 10. 2011 [11:42] | |||
shoxii Dabei seit: 14.04.2011 Themenersteller 15 Beiträge | Beitrag hilfreich? | ||
"Raptor" schrieb: Im Grunde würde ich folgendes versuchen: User-agent: * Disallow: / Allow: /$ Das werde ich versuchen. Soweit ich das nachvollziehen kann müsste dies wirklich funktionieren. Eine Bestätigung von einem Dritten würde mein Gewissen jedoch durchaus erleichtern^^ Beste Grüße shoxii | |||
| Verfasst am: 12. 10. 2011 [12:29] | |||
seitenreport Dabei seit: 28.03.2009  1792 Beiträge | Beitrag hilfreich? | ||
"shoxii" schrieb: "Raptor" schrieb: Im Grunde würde ich folgendes versuchen: User-agent: * Disallow: / Allow: /$ ... Eine Bestätigung von einem Dritten würde mein Gewissen jedoch durchaus erleichtern^^ Warum probierst Du es nicht einfach aus? z.B. via Google Webmaster Tools => Abruf wie durch GoogleBot. Wenn er die Sperre der Unterseiten erkennt, sollte dort eine Fehlermeldung ausgespuckt werden. Die Startseite sollte normal gecrwalt werden können. Beste Grüße, Matthias TYPO3 Freelancer | Gründer und Betreiber von Seitenreport TYPO3 Anfragen: info@matthias-glaessner.de | XING-Profil | |||
| Verfasst am: 12. 10. 2011 [16:02] | |||
shoxii Dabei seit: 14.04.2011 Themenersteller 15 Beiträge | Beitrag hilfreich? | ||
| Funktioniert! Besten Dank. Gruß shoxii | |||
Premium-Mitglied
Du bist nicht eingeloggt. Bitte beachte, dass Du eingeloggt sein musst, um Themen zu erstellen oder auf Beiträge zu antworten.
Werde in Echtzeit über neue Foren-Beiträge informiert:
0 Mitglieder waren innerhalb der letzten 15 Minuten online (36 heute gesamt):
[keine]
Administratoren und Moderatoren:
[keine]
Seitenreport hat 18153 registrierte Mitglieder, 3003 Themen und 29112 Beiträge.
Der aktuelle Mitgliederzuwachs liegt bei durchschnittlich 12 bestätigten Neuregistrierungen pro Tag.
Pro Tag werden im Seitenreport Forum durchschnittlich 1 neues Thema und 7 Beiträge erstellt.
Die Durchschnittszahlen berechnen sich aus den letzten 7 Tagen.
Lade...
Neueste Foren-Beiträge
 | Abstimmung: 20.000 Mitglieder Jubiläum - was tun? Internes & Ankündigungen / Internes | Gestern [23:07] |
 | Microsofts soziales Netzwerk So.cl Internet / News | Gestern [20:03] |
| Nicht nachvollziehbarer CSS Fehler Internes & Ankündigungen / Analyse-Ergebnisse | Gestern [13:37] |
| Partnerprogramm: Eintrag für Kunden erledigt Internes & Ankündigungen / Internes | 22. 05. 2012 [10:35] |
 | Hotelbericht Entwickler Treffpunkt / Website vorstellen | 22. 05. 2012 [09:28] |
Lade...
Aktuelle Artikel:
Facebook - eine neue Tech-Blase?
Facebook ist in den vergangenen Tagen wegen seines Börsenganges und den dabei eingefahrenen Investorengeldern von 16 Milliarden Dollar großflächig in die Kritik geraten. Der Marktwert von 104 Milliarden Dollar wird von vielen als maßlos übertrieben angesehen. Ist Facebook eine neue Internet-Blase, die in den nächsten Jahren platzen wird?
Suchmaschinenoptimierung seit dem Google Penguin Update
Das neue Update vom Branchenriesen Google wird in Seo-Kreisen gerne mit einem Erdbeben verglichen. Diese Metapher trifft die Sachlage sehr gut, denn der Pinguin bringt die Arbeitsfundamente der Suchmaschinenoptimierer gehörig ins Wanken.
Tipps für den guten Start ins Business
Sich selbstständig machen, eine Firma gründen und direkt ins eigenständige Berufsleben einzusteigen klingt spannend und irgendwie auch einfach. Doch einfach ist es ganz und gar nicht...
Facebook - eine neue Tech-Blase?
Facebook ist in den vergangenen Tagen wegen seines Börsenganges und den dabei eingefahrenen Investorengeldern von 16 Milliarden Dollar großflächig in die Kritik geraten. Der Marktwert von 104 Milliarden Dollar wird von vielen als maßlos übertrieben angesehen. Ist Facebook eine neue Internet-Blase, die in den nächsten Jahren platzen wird?
18. Mai 2012
Suchmaschinenoptimierung seit dem Google Penguin Update
Das neue Update vom Branchenriesen Google wird in Seo-Kreisen gerne mit einem Erdbeben verglichen. Diese Metapher trifft die Sachlage sehr gut, denn der Pinguin bringt die Arbeitsfundamente der Suchmaschinenoptimierer gehörig ins Wanken.
15. Mai 2012
Tipps für den guten Start ins Business
Sich selbstständig machen, eine Firma gründen und direkt ins eigenständige Berufsleben einzusteigen klingt spannend und irgendwie auch einfach. Doch einfach ist es ganz und gar nicht...
14. Mai 2012