robots代码限制搜索引擎抓取

来源:小凡日期:2022年4月19日

禁止所有搜索引擎:<meta name=”robots” content=”noarchive”>

禁止百度搜索引擎:<META NAME=” Baiduspider” CONTENT=”NOINDEX,NOFOLLOW,noarchive”>

允许抓取本页,并允许顺着本页索引其他链接:<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW” >

允许抓取本页,但是禁止抓取本页其他链接:<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>

不允许抓取本页,但是允许顺着本页索引其他链接:<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>

禁止抓取本页,并禁止抓取本页其他链接:<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>

相关文章
微信咨询微信咨询
二维码
微信扫码 立即咨询
销售热线咨询热线
15202181997
立即咨询立即咨询