# robots.txt for http://www.uadby.de/ # Zugriff auf alle Dateien erlauben User-agent: * Disallow: User-agent: Slurp Crawl-delay: 1