# start (J)ExR User-Agent: * Disallow: /out/ # end (J)ExR # User-agent: * # Crawl-delay: 1 # задает таймаут в 5 секунды