禁止所有搜索引擎:<meta name=”robots” content=”noarchive”>
禁止百度搜索引擎:<META NAME=” Baiduspider” CONTENT=”NOINDEX,NOFOLLOW,noarchive”>
允许抓取本页,并允许顺着本页索引其他链接:<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW” >
允许抓取本页,但是禁止抓取本页其他链接:<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>
不允许抓取本页,但是允许顺着本页索引其他链接:<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>
禁止抓取本页,并禁止抓取本页其他链接:<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>