User-agent:*
Disallow:

 # задает таймут в 5 секунд для всех роботов
User-agent: *
Crawl-delay: 5

# Yahoo! No index.
User-agent: Yahoo! Slurp
Disallow: /