Über robots.txt zur Sitemap
| Verfasst am: 01. 05. 2011 [17:26] | |||
havanesertreff Dabei seit: 09.06.2010  Themenersteller 136 Beiträge | Beitrag hilfreich? | ||
| Hallo Zusammen, ich wollte die robots.txt umschreiben und die Suchmaschine auf die sitemap leiten. Ich habe immo den Befehl User-agent: * Allow: / in der robots stehen. Nun möchte ich auf die Seite http://www.havanesertreff.de/forum/index.php?page=Sitemaps verweisen. Kann ich den ersten Befehl stehen lassen und/oder muß ich was ändern bzw. was muß ich reinschreiben? Danke im vorraus  Gruß Jörg | |||
| Verfasst am: 01. 05. 2011 [21:47] | |||
der_booker Dabei seit: 11.06.2009  2887 Beiträge | Beitrag hilfreich? | ||
| Hallo Jörg, ich würde explizit nur Verzeichnisse auf disallow setzen, welche die Bots nicht durchstöbern sollen. Allow sind sie meist automatisch. Dein Eintrag mit dem User-Agent ist so stimmig. Mit der Sitemap, kann ich noch nicht ganz folgen. Die SuMa's verlangen einen sitemap.xml oder sitemap.xml.gz wenn die Datei komprimiert wurde. Du hingegen kommst mit einer index.php und einem zusätzlichen Wert. Ob das so gut gehen wird, wag ich im Moment zu bezweifeln, kann aber kein beweisbares Gegenargument liefern. Der passende Eintrag für die robots.txt wäre: Sitemap: http://www.havanesertreff.de/forum/index.php?page=Sitemaps besser aber: Sitemap: http://www.havanesertreff.de/sitemap.xml oder komprimiert: Sitemap: http://www.havanesertreff.de/sitemap.xml.gz | |||
| Verfasst am: 02. 05. 2011 [07:58] | |||
klaus_b Dabei seit: 17.12.2009   327 Beiträge | Beitrag hilfreich? | ||
| Hallo Heiko, "der_booker" schrieb: Mit der Sitemap, kann ich noch nicht ganz folgen. Die SuMa's verlangen einen sitemap.xml oder sitemap.xml.gz wenn die Datei komprimiert wurde. Du hingegen kommst mit einer index.php und einem zusätzlichen Wert. Ob das so gut gehen wird, wag ich im Moment zu bezweifeln, kann aber kein beweisbares Gegenargument liefern. Das sollte durchaus so gehen. Die Zeiten der statischen Dateien sind auch für Sitemaps vorbei Ich gebe auf meinen Seiten einen Http-Handler in der robots.txt an. Das ganze sieht dann etwa so aus: sitemap: http://blog.klaus-b.net/sitemap.axd Hat den Vorteil, dass erst gar nicht auf die Platte geschrieben werden muss. Servus, Klaus | |||
| Verfasst am: 02. 05. 2011 [09:03] | |||
Ultima Dabei seit: 09.07.2010  759 Beiträge | Beitrag hilfreich? | ||
"klaus_b" schrieb: ... Das sollte durchaus so gehen. Die Zeiten der statischen Dateien sind auch für Sitemaps vorbei ... Wer sagt das eine "sitemap.xml" oder "sitemap.xml.gz" statisch ist? "the_booker" schrieb: Die SuMa's verlangen einen sitemap.xml oder sitemap.xml.gz wenn die Datei komprimiert wurde. Du hingegen kommst mit einer index.php und einem zusätzlichen Wert. Ob das so gut gehen wird, wag ich im Moment zu bezweifeln, kann aber kein beweisbares Gegenargument liefern. Nein verlangen sie nicht, sie nehmen die Ressource die in der robots.txt angegeben wurde, solange es sich um eine gültige Sitemap handelt. Du kannst es testen, erstellen eine Sitemap namens foobar.blub und verlinke sie in der robots.txt, nach ein paar Tagen sollte sie bei den WMTs angezeigt werden. Yahoo scheint eine Sitemap erst zu erkennen wenn man sie über den Site Explorer einsendet und dort spielt der Name auch keine Rolle. Schöne Grüße Thomas Mein Portal: Ultima-Project.net - Gold für alle | |||
| Verfasst am: 02. 05. 2011 [09:14] | |||
havanesertreff Dabei seit: 09.06.2010 Themenersteller 136 Beiträge | Beitrag hilfreich? | ||
| Danke für die Antworten Also, es ist ja eine Forensoftware von Woltlab. Da habe ich nun die SEO Optimierung eingebaut (ein extra Plugin) und dort gab es als Tip halt diese Sitemap auf index.php Basis. Ich fand die Idee sehr gut, da dort nur Forenbereiche indexiert werden, die auch von Gästen gelesen werden können (nicht alle Bereiche sind für Gäste frei). Bei meiner eingereichten Sitemap gibt es immer wieder Probs mit den Links, da auch immer wieder Fehlermeldungen auftraten, weil die Suchmaschine nen 403er Fehler meldete. Dem entsprechend ist diese Lösung besser Muß ich denn jetzt nur Sitemap: http://www.havanesertreff.de/forum/index.php?page=Sitemaps dort eintragen oder User-agent: * Allow: / Sitemap: http://www.havanesertreff.de/forum/index.php?page=Sitemaps Gruß Jörg | |||
| Verfasst am: 02. 05. 2011 [09:34] | |||
havanesertreff Dabei seit: 09.06.2010 Themenersteller 136 Beiträge | Beitrag hilfreich? | ||
| Ach so, der Vorteil dieses Plugin und der nicht statischen Sitemap liegt darin, das das Plugin die Sitemap bei jeder Änderung der Foren automatisch neu schreibt. So habe ich, wenn ich ein neues Unterforum aufmache welches für Gäste einsehbar ist, nicht immer die Arbeit die Sitemap neu schreiben zu müssen. | |||
| Verfasst am: 02. 05. 2011 [09:39] | |||
der_booker Dabei seit: 11.06.2009 2887 Beiträge | Beitrag hilfreich? | ||
"Ultima" schrieb: "the_booker" schrieb: Die SuMa's verlangen einen sitemap.xml oder sitemap.xml.gz wenn die Datei komprimiert wurde. Du hingegen kommst mit einer index.php und einem zusätzlichen Wert. Ob das so gut gehen wird, wag ich im Moment zu bezweifeln, kann aber kein beweisbares Gegenargument liefern. Nein verlangen sie nicht, sie nehmen die Ressource die in der robots.txt angegeben wurde, solange es sich um eine gültige Sitemap handelt. Du kannst es testen, erstellen eine Sitemap namens foobar.blub und verlinke sie in der robots.txt, nach ein paar Tagen sollte sie bei den WMTs angezeigt werden. Yahoo scheint eine Sitemap erst zu erkennen wenn man sie über den Site Explorer einsendet und dort spielt der Name auch keine Rolle. Okay, vielleicht war ich da ein wenig "Old School". Wieder etwas dazugelernt. Danke. Dabei kommt mir eine neue Idee für ein neues Experiment. | |||
| Verfasst am: 02. 05. 2011 [09:44] | |||
havanesertreff Dabei seit: 09.06.2010 Themenersteller 136 Beiträge | Beitrag hilfreich? | ||
"der_booker" schrieb: Okay, vielleicht war ich da ein wenig "Old School". Wieder etwas dazugelernt. Danke. Dabei kommt mir eine neue Idee für ein neues Experiment. Heiko, siehste, wie bei mir Ich war auch am überlegen was ich noch verbessern kann, obwohl wir schon sehr gut in Google und Co. vertreten sind. Nur bei Bing z.b. hatte ich das Gefühl, das grade wegen der Sitemap die Indexierung nicht sooo gut kommt durch die statische Sitemap. | |||
| Verfasst am: 02. 05. 2011 [09:53] | |||
der_booker Dabei seit: 11.06.2009 2887 Beiträge | Beitrag hilfreich? | ||
"havanesertreff" schrieb: Heiko, siehste, wie bei mir Ich war auch am überlegen was ich noch verbessern kann, obwohl wir schon sehr gut in Google und Co. vertreten sind. Nur bei Bing z.b. hatte ich das Gefühl, das grade wegen der Sitemap die Indexierung nicht sooo gut kommt durch die statische Sitemap.Hehe, naja, die sitemap.xml wird bei mir auch nicht statisch befüllt, sondern ist schon dynamisch, was ja auch am meisten Sinn macht. Sobald ein neuer Eintrag hinzugekommen ist, sende ich auch einen Ping an die einzelnen SuMa's, um ihnen die Neuerung mitzuteilen. Nur ging ich bis dato davon aus, dass die sitmap.xml auch sitemap.xml heißen muss. | |||
| Verfasst am: 02. 05. 2011 [09:55] | |||
Ultima Dabei seit: 09.07.2010 759 Beiträge | Beitrag hilfreich? | ||
"havanesertreff" schrieb: ... Nur bei Bing z.b. hatte ich das Gefühl, das grade wegen der Sitemap die Indexierung nicht sooo gut kommt durch die statische Sitemap. ... Wenn du eine Sitemap bei Yahoo einsendest wird sie automatisch an Microsoft/Bing weitergeleitet, 2 Suchmaschinen mit einem Klick  Wenn meine Beobachtungen stimmen scheint Yahoo in der letzten Zeit stärker genutzt zu werden. Google hat natürlich noch den größten Anteil. Es kann aber auch sein das es nur wieder eine kleine Welle ist die wieder abflaut. Man sollte sie trotzdem im Auge behalten. Schöne Grüße Thomas Mein Portal: Ultima-Project.net - Gold für alle | |||
Premium-Mitglied
Du bist nicht eingeloggt. Bitte beachte, dass Du eingeloggt sein musst, um Themen zu erstellen oder auf Beiträge zu antworten.
Werde in Echtzeit über neue Foren-Beiträge informiert:
13 Mitglieder waren innerhalb der letzten 15 Minuten online (88 heute gesamt):
blue77, chrissince1979, Hamsi1979, hansen, kiza72, LexService, masa8, matthiasmett, oms, REDTREE, RiesenConsulting, Seelenenergie, snowreporter
Administratoren und Moderatoren:
[keine]
Seitenreport hat 18155 registrierte Mitglieder, 3003 Themen und 29112 Beiträge.
Der aktuelle Mitgliederzuwachs liegt bei durchschnittlich 13 bestätigten Neuregistrierungen pro Tag.
Pro Tag werden im Seitenreport Forum durchschnittlich 1 neues Thema und 7 Beiträge erstellt.
Die Durchschnittszahlen berechnen sich aus den letzten 7 Tagen.
Lade...
Neueste Foren-Beiträge
 | Abstimmung: 20.000 Mitglieder Jubiläum - was tun? Internes & Ankündigungen / Internes | Gestern [23:07] |
 | Microsofts soziales Netzwerk So.cl Internet / News | Gestern [20:03] |
 | Nicht nachvollziehbarer CSS Fehler Internes & Ankündigungen / Analyse-Ergebnisse | Gestern [13:37] |
| Partnerprogramm: Eintrag für Kunden erledigt Internes & Ankündigungen / Internes | 22. 05. 2012 [10:35] |
| Hotelbericht Entwickler Treffpunkt / Website vorstellen | 22. 05. 2012 [09:28] |
Lade...
Aktuelle Artikel:
Facebook - eine neue Tech-Blase?
Facebook ist in den vergangenen Tagen wegen seines Börsenganges und den dabei eingefahrenen Investorengeldern von 16 Milliarden Dollar großflächig in die Kritik geraten. Der Marktwert von 104 Milliarden Dollar wird von vielen als maßlos übertrieben angesehen. Ist Facebook eine neue Internet-Blase, die in den nächsten Jahren platzen wird?
Suchmaschinenoptimierung seit dem Google Penguin Update
Das neue Update vom Branchenriesen Google wird in Seo-Kreisen gerne mit einem Erdbeben verglichen. Diese Metapher trifft die Sachlage sehr gut, denn der Pinguin bringt die Arbeitsfundamente der Suchmaschinenoptimierer gehörig ins Wanken.
Tipps für den guten Start ins Business
Sich selbstständig machen, eine Firma gründen und direkt ins eigenständige Berufsleben einzusteigen klingt spannend und irgendwie auch einfach. Doch einfach ist es ganz und gar nicht...
Facebook - eine neue Tech-Blase?
Facebook ist in den vergangenen Tagen wegen seines Börsenganges und den dabei eingefahrenen Investorengeldern von 16 Milliarden Dollar großflächig in die Kritik geraten. Der Marktwert von 104 Milliarden Dollar wird von vielen als maßlos übertrieben angesehen. Ist Facebook eine neue Internet-Blase, die in den nächsten Jahren platzen wird?
18. Mai 2012
Suchmaschinenoptimierung seit dem Google Penguin Update
Das neue Update vom Branchenriesen Google wird in Seo-Kreisen gerne mit einem Erdbeben verglichen. Diese Metapher trifft die Sachlage sehr gut, denn der Pinguin bringt die Arbeitsfundamente der Suchmaschinenoptimierer gehörig ins Wanken.
15. Mai 2012
Tipps für den guten Start ins Business
Sich selbstständig machen, eine Firma gründen und direkt ins eigenständige Berufsleben einzusteigen klingt spannend und irgendwie auch einfach. Doch einfach ist es ganz und gar nicht...
14. Mai 2012