# robots.txt for http://www.vereinigung-deutsch-auslaendische-solidaritaet.de/ # Zugriff auf alle Dateien erlauben User-agent: * Disallow: /tmp/ # Die Dateien sind sehr kurzlebig Disallow: /logs/ # Die ändern sich jeden Tag Disallow: /images/ # Bilder nicht downloaden Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren Disallow: /assets/ # Disallow: /wb/admin/ # Admin-dateien Disallow: /wb/temp/ # Die sind sehr kurzlebig