robots.txt anpassen - wie können Suchmaschinen gesteuert werden?
Manchmal benötigen Sie die Möglichkeit, den Zugriff für Suchmaschinen auf bestimmte Bereiche Ihrer Seite zu verbieten. Dafür existiert die Möglichkeit, eine so genannte robots.txt-Datei zu erstellen, die von den namhaften Anbietern bei der Indexierung Ihrer Seite berücksichtigt wird. Wir beschreiben hier, wie Sie diese Datei anpassen können.
Für die nachfolgenden Schritte müssen Sie als Portal-Administrator angemeldet sein.
- Begeben Sie sich zunächst in das ZMI Ihrer Website (Konfiguration -> Zope Management Interface). Klicken Sie Sie dort auf den Punkt portal_properties:
- Auf der Seite portal_properties klicken Sie bitte nun auf den Link site_properties:
- Es öffnet sich ein relativ langes Eingabeformular mit sehr vielen Einstellmöglichkeiten für Ihr Plone-Portal. Scrollen Sie nach unten, bis Sie das Feld robots_txt sehen. Bitte verändern Sie hier keinesfalls auf Verdacht andere Werte, da Sie damit Ihre Installation unbrauchbar machen könnten!
- Tragen Sie im Textfeld alle Pfade (ohne vorangestelltes http://www.ABC.uni-bonn.de) ein, die Sie von Suchmaschinen ausschließen lassen wollen. Für jeden Pfad sollten Sie eine neue Disallow - Zeile beginnen:
Disallow: /Pfad/zu/Ordner1 Disallow: /Pfad/zu/anderem/Ordner
- Speichern Sie abschließend Ihre Änderungen mittels Save Changes.
- Das Ergebnis können Sie unter www.IhreURL.uni-bonn.de/robots.txt überprüfen. Die Einträge, die sich ggf. unter den Abschnitten "# generated robots.txt" und "# dynamic added subportals" befinden, werden automatisch generiert und können nicht von Ihnen verändert werden.
Spezialfall: robots.txt und Navigation Root
Bitte beachten Sie folgenden Automatismus: Wenn Sie für einen Ordner eine Navigation Root definieren, gehen wir davon aus, dass Sie eine eigene URL auf diesen Ordner zeigen lassen. Daher wird standardmäßig für alle Navigation Roots automatisch ein Eintrag in die robots.txt vorgenommen (s. oben, unterhalb des Abschnittes # dynamic added portals). So verhindern wir eine doppelte Indexierung von Seiten und damit eine Abstrafung auf Grund von "Duplicate Content" bei Suchmaschinen.
Wenn Sie einmal eine Navigation Root definiert haben, ohne eine eigene URL auf diesen Ordner zeigen zu lassen, denken Sie bitte daran, in der robots.txt dann einen Allow-Eintrag zu erstellen! Nur dann wird dieser Ordner von Suchmaschinen erfasst. Der Allow-Eintrag überschreibt den automatisch erstellten Eintrag.
Wenn Sie einmal eine Navigation Root definiert haben, ohne eine eigene URL auf diesen Ordner zeigen zu lassen, denken Sie bitte daran, in der robots.txt dann einen Allow-Eintrag zu erstellen! Nur dann wird dieser Ordner von Suchmaschinen erfasst. Der Allow-Eintrag überschreibt den automatisch erstellten Eintrag.
Zugeordnete Kategorie(n):
Administration
