User-agent: googlebot 
 Disallow: /cgi-bin/ 
 Disallow: /404/ 
 Disallow: /cgi-bin/ 
 Disallow: /*.css$ 
 Disallow: /*.js$ 
 Disallow: /*.txt$ 
 Disallow: /*page
 #Disallow: /*.xml
Allow: /sitemap/