# robots.txt fuer www.homeprojects.de # grundlage uebernommen von board.gulli.com/robots.txt # geblockte dateien wuerden nur viele Aufrufe aber wenig unterschiedlichen Text enthalten # Explizite Dateien/Verzeichnisse verweigern (Ventrilo u.s.w.) User-agent: * Disallow: /ventrilo/ Disallow: /testlauf/ Disallow: /hyperbook/ Disallow: /testlauf/ Disallow: /m-ichael/ Disallow: /logs/ Disallow: /cgi-bin/ # Na, schlauer geworden welche Verzeichnisse ihr bei mir alle besuchen könnt? # E-Mail Sammler raus User-agent: ia_archiver Disallow: / # msnbot aussperren, soll was bringen # hat man mir gesagt # User-agent: msnbot # Crawl-delay: 20 #Disallow: / # Fasterfox ist ein Werk Satans User-agent: Fasterfox Disallow: / # Versteht leider nur der Googlebot #User-agent: googlebot #Disallow: *.php # Dank an suchfibel.de für die beispielhafte robots.txt :-) User-agent: WebReaper Disallow: /