# Deze file wordt gebruikt door automatische WWW robots, web # crawlers en dergelijke. Het geeft aan welke plekken # niet door zulke robots bezocht mogen worden. # Zie http://web.nexor.co.uk/mak/doc/robots/norobots.html # en http://searchenginewatch.com/webmasters/spiderchart.html # voor meer informatie. # # # # -------- VOORBEELDEN -----------------------------------######### # User-agent: * # geldt voor voor alle robots # Disallow: /help/ # robots lezen niet deze dir... # Disallow: /doc/user/ # laat ze de stats niet verpesten... # Disallow: /beeldhouwen/ # Disallow: /forum/ # alleen gebruiker discussies # Disallow: /boeken/zoeken/stem.php3 # Disallow: /cvsweb/ # geen nuttige informatie # # User-agent: wget # voor wget # Disallow: /boeken/ # #################################################################### User-agent: * Disallow: /help/ Disallow: /beeldhouwen/