3、禁止根目錄下的woniuseo目錄下的單個(gè)頁(yè)面woniuseo.html被抓?。?/div>
Disallow:/woniuseo/woniuseo.html
4、禁止全站含有?的頁(yè)面被抓取:
Disallow: /*?*
5、禁止全站含有woniuseo的頁(yè)面被抓取:
Disallow: /*woniuseo*
6、禁止全站后綴為.aspx的頁(yè)面被抓取:
Disallow: /*.aspx$
7、禁止全站后綴為.jpg的文件被抓?。?/div>
Disallow:/*.jpb$
Allow的用法示例
1、允許所有頁(yè)面被抓取:
Allow: /
2、允許woniuseo的目錄被抓?。?/div>
Allow: /woniuseo/
3、允許抓取.html的頁(yè)面:
Allow: /*.html$
4、允許抓取.jpg的圖片:
Allow: /*.jpg$