首页 微博
  • 自会计微博

抖音
  • 自会计抖音号

  • 财税小程序
  • 400-0618-121
400-0618-121
首页 >  问答 > 建站技巧

如何屏蔽搜索引擎抓取?

更新时间:2022-04-20
被浏览:81

最佳答案

淡定的红牛

潜水小将

作网站运营尤其是网站排名优化的时候,我们总想着如何来引导搜索引擎蜘蛛来爬行网页,收录。然而,很多时候一些网站因为所真对的用户群体和目标地区不同,并不希望获得搜索引擎的光顾,这个时候我们要如何来解决呢?今天和笔者一起来研究一下吧!

当我们看到要屏蔽抓取的时候,大多数SEOer想到的都是robots.txt文件。因为在我们的认知中,robot文件可以有效的杜姐搜索引擎抓取某些页面。但是要知道,虽然这个方式很不错,但是更多时候小丹认为它比较适合于在网站没有完成,为了避免之后的死链或者考察期而存在的。

若单单为了屏蔽某个搜索引擎的抓取,我们大可不必为空间造成负累,只要使用一点简单的代码即可。例如,我们要屏蔽百度蜘蛛的抓取 <meta name="Baiduspider" content="noarchive">即可。当然这仅仅是屏蔽百度抓取的方式,如果想要任何一个搜索引擎,只要将Baiduspider更换为改搜索引擎的蜘蛛即可。

常见搜索引擎蜘蛛名称如下:

1、baiduspider 百度的综合索引蜘蛛

2、Googlebot 谷歌蜘蛛

3、Googlebot-Image 专门用来抓取图片的蜘蛛

4、Mediapartners-Google 广告联盟代码的蜘蛛

5、Yahoo Slurp 雅虎蜘蛛

6、Yahoo! Slup China 雅虎中国蜘蛛

7、Yahoo!-AdCrawler 雅虎广告蜘蛛

8、YodaoBot 网易蜘蛛

9、Sosospider 腾讯SOSO综合蜘蛛

10、sogou spider 搜狗综合蜘蛛

11、MSNBot Live 综合蜘蛛

但,如果你要屏蔽所有的搜索引擎,那么就要使用robot文件了: <meta name="robots" content="noarchive">。

到这里很多朋友获取应该明白了,在代码中禁止建立网页快照的命令是noarchive。所以,如果我们对于搜索引擎有限制,就根据自己的禁止快照对象,将代码加在网页的与直接即可;反之,在不要添加任何一条代码,就可以保证各大搜索引擎能够正常访问网站并且建立快照

声明:本站分享的文章旨在促进信息交流,不以盈利为目的,本文观点与本站立场无关,不承担任何责任。如无意侵犯媒体或个人知识产权,请来电或致函告之,本站将在第一时间处理。本站拥有对此声明的最终解释权。

发布于 2022-04-20

免费获取方案报价

免费联系电话400-0618-121

顾问推荐

今日已浏览 已咨询

微信扫码联系客服

微信联系 在线咨询

其他咨询顾问

换一换
孙经理金牌顾问

微信扫码联系客服

微信联系 在线咨询