blog.bartlweb - a technologist's external brain

robots.txt – Suchmaschinenverhalten für die eigene Webseite definieren

Es gibt für Suchmaschinen den Codex sich an den Meta-Tag robots bzw. an die Datei robots.txt beim Indizieren einer Seite zu halten. Über diese beiden Möglichkeiten kann man gezielt steuern welche Seiten von Suchmaschinen erfasst werden und welche nicht. Es ist auch die Kombination von robots.txt und Meta-Tags möglich, hier muss allerdings auf Abhängigkeiten geachtet werden.

robots.txt

Die Datei robots.txt muss im Root-Verzeichnis des Webservers liegen und damit unter http://www.domain.com/robots.txt erreichbar sein.

Alle Robots zulassen

User-agent: *
Disallow:

Alle Robots aussperren

User-agent: *
Disallow: /

Einen Robot aussperren

User-agent: Googlebot
Disallow: /

Alle Robots aussperren und einen zulassen

User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:

eine Seite ausnehmen

User-agent: *
Disallow: /page.htm

bestimmte Dateien ausnehmen

User-agent: *
Disallow: /file.*
Disallow: /*.doc$

ein Verzeichnis ausnehmen

User-agent: *
Disallow: /folder/

bestimmte Verzeichnisse ausnehmen

User-agent: *
Disallow: /files_*/

ein Verzeichnis ausnehmen aber eine Seite darin zulassen

User-agent: *
Disallow: /folder/
Allow: /folder/dfile.htm

Meta-Tag

Mit Hilfe des Meta-Tag robtos im Header kann das Verhalten von Suchmaschinen beeinflusst werden.

Seite nicht indizieren

<meta name="robots" content="noindex, nofollow" />

Seite indizieren

<meta name="robots" content="index, follow" />

Siete indizieren, aber Links nicht folgen

<meta name="robots" content="index, nofollow" />

Dieser Artikel hat Dir deinen Tag gerettet?

... und mühevolles Probieren, Recherchieren und damit Stunden an Zeit gespart? Oder einfach nur Dein Problem gelöst?

Dann würde ich mich freuen, wenn Du meine Zeit für die Erstellung dieses Blogartikels mit einer kleinen Anerkennung honorierst:

Zahlung mit PayPal oder Kreditkarte.

Hinweis zur Verwendung

Die Übermittlung einer Zahlung ist eine persönliche Anerkennung Ihrerseits an den Entwickler (Christian Bartl, Privatperson). Eine Zahlung ist nicht zweckgebunden und es ist keine Gegenleistung zu erwarten. Bitte beachten Sie, dass für eine übermittelte Zahlung keine Quittung ausgestellt werden kann.

Über den Autor

Christian Bartl

Christian Bartl Projektmanagement & Konzeption für Online und Mobile

Als Technologie-Enthusiast und begeisterter Programmierer entwickle ich in meiner Freizeit Websites, Software und IT-Lösungen, die mir selbst und anderen den Alltag vereinfachen.

mehr auf bartl.me

Kommentare

Noch kein Kommentar vorhanden.
Sei der Erste! - Ich freue mich über deine Anmerkung, Kritik oder Frage.

Kommentar schreiben

Der hier angegebene Name wird gemeinsam mit deinem Kommentar auf der Website veröffentlicht.

Deine E-Mail-Adresse wird zur einmaligen Benachrichtigung bei Veröffentlichung des Kommentars genutzt.

Benachrichtigung per E-Mail über Antworten auf meinen Kommentar erhalten.

Bitte tippe die Zahlenkombination "4966" ein, nur dann kann ich deinen Kommentar entgegennehmen.

Bitte fülle dieses Feld nicht aus, nur dann kann ich deinen Kommentar entgegennehmen.