# siehe auch file:///j:/Lexika/Lexika/HtmlJavaPHP/HTML/Self%20Html/diverses/robots.htm

# Beispiel
# immer abschließenden "/" bei Ordnern
# User-agent: *
# Disallow: /intern/
# Disallow: /temp/
# Allow: /index.html


# Mit der folgenden Syntax erlauben Sie keinem Suchmaschinen-Robot, auch nur irgendetwas von ihren Daten auszulesen:

User-agent: *
Disallow: /

# Mit / bestimmen Sie "alle Daten dieses Verzeichnisses und aller Unterverzeichnisse".