#direct to all spiders for http://www.lotsenberg.de/ User-agent: * Disallow: /fotos/ Disallow: /grafik/ Disallow: /mail/ Disallow: /seiten/1oben.htm Disallow: /seiten/anfrage2.php Disallow: /seiten/anfrage3.php Disallow: /seiten/basis.js Disallow: /seiten/disclaim.htm Disallow: /seiten/empfehl.php Disallow: /seiten/fahren.js Disallow: /seiten/fehl404.htm Disallow: /seiten/guestbook.php Disallow: /seiten/index.php Disallow: /seiten/messages.txt Disallow: /seiten/moewe.js Disallow: /seiten/moewkrz.js Disallow: /test/ Disallow: /webalizer/ #User-agent: IconSurf #Disallow: / User-Agent: Googlebot-Image Disallow: / User-agent: ia_archiver Disallow: / User-agent: EmailCollector Disallow: / User-agent: Web Image Collector Disallow: / User-agent: LinkWalker Disallow: / User-agent: HTTrack 3.0x Disallow: /seiten/ Disallow: /grafik/ User-agent: winhttrack Disallow: / User-agent: HTTrack Website Copier/3.0x Disallow: / User-agent: Webspider Disallow: / User-agent: Microsoft URL Control Disallow: / User-agent: URL Control Disallow: / User-agent: WebStripper Disallow: / User-agent: WebSauger Disallow: / User-agent: WebCopier Disallow: / User-agent: SiteSnagger Disallow: / User-agent: WebZip Disallow: / User-agent: u12-12 Disallow: / User-agent: vianetworks Disallow: /