MSDN,我告訴你(中文站)
請教站長兄和各位看官:只允許google和百度抓取,而阻止其他所有蜘蛛抓取,如何寫?這樣行嗎:):User-agent: GooglebotDisallow: /allow: /archive/allow: index.phpallow: sitemap.phpUser-agent: BaiduspiderDisallow: /allow: /archive/allow: index.phpallow: sitemap.phpUser-agent: *Disallow: /
2023年07月17日