User-Agent: * Disallow: / Allow: /index.asp Allow: /default.asp Allow: /index.htm Allow: /index.html