Der Robots-Tag

Robots-Tag: Anweisungen zum Steuern von Spidern, die die Webseite besuchen.

Syntax: <meta name="robots" content="Anweisung für Suchroboter" />

z.B.: <meta name="robots" content="index,follow" />

Der Robots-Tag lässt vier unterschiedliche Ausprägungen zu: index, noindex, follow und nofollow. Diese sind auch miteinander kombinierbar. Diese werden folgendermaßen ausgeschrieben und gelesen:

z.B. <meta name="robots" content="index,follow" />

Die Seite darf erfasst und die Links darauf verfolgt werden. Diese Robots-Tag-Variante kommt am häufigsten vor.

<meta name="robots" content="index,nofollow" />

Die Seite darf aufgenommen werden, aber die Links dürfen nicht nachgefolgt werden.

<meta name="robots" content="noindex,follow" />

Die Seite darf nicht indexiert werden und in Suchergebnisse gezeigt, aber dafür die Links dürfen gefolgt werden.

<meta name="robots" content="noindex,nofollow" />

Entweder die Seite darf aufgenommen werden, noch die Links dürfen durch Spider verfolgt werden.

Wenn der Robots-Tag nicht eingegeben wurde, wird dann die Seite in den Datenbestand indexiert, und alle Hyperlinks sind frei, von Spidern verfolgt zu werden. Falls das nicht erwünscht ist, wird dann mit Hilfe eines Robots.txt den Spidern verweigert, die Seite zu indexieren.