解读Baiduspider抓取系统的原理与索引建库
时间:2022-04-30 - 浏览:

互联网信息爆发式增长,如何有效的获取并利用这些信息是搜索引擎工作中的首要环节。数据抓取系统作为整个搜索系统中的上游,主要负责互联网信息的搜集、保存、更新环节,它像蜘蛛一样在网络间爬来爬去,因此通常会被叫做“spider”。例如我们常用的几家通用搜索引擎蜘蛛被称为:Baiduspdier、Googlebot、SogouWebSpider等。

下图为spider抓取系统的基本框架图,其中包括链接存储系统、链接选取系统、dns解析服务系统、抓取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。Baiduspider即是通过这种系统的通力合作完成对互联网页面的抓取工作。

解读Baiduspider抓取系统的原理与索引建库

上图看似简单,但其实Baiduspider在抓取过程中面对的是一个超级复杂的网络环境,为了使系统可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力,会设计多种复杂的抓取策略。以下做简单介绍:

互联网资源庞大的数量级,这就要求抓取系统尽可能的高效利用带宽,在有限的硬件和带宽资源下尽可能多的抓取到有价值资源。这就造成了另一个问题,耗费被抓网站的带宽造成访问压力,如果程度过大将直接影响被抓网站的正常用户访问行为。因此,在抓取过程中就要进行一定的抓取压力控制,达到既不影响网站的正常用户访问又能尽量多的抓取到有价值资源的目的。

通常情况下,最基本的是基于ip的压力控制。这是因为如果基于域名,可能存在一个域名对多个ip(很多大网站)或多个域名对应同一个ip(小网站共享ip)的问题。实际中,往往根据ip及域名的多种条件进行压力调配控制。同时,站长平台也推出了压力反馈工具,站长可以人工调配对自己网站的抓取压力,这时百度spider将优先按照站长的要求进行抓取压力控制。

对同一个站点的抓取速度控制一般分为两类:其一,一段时间内的抓取频率;其二,一段时间内的抓取流量。同一站点不同的时间抓取速度也会不同,例如夜深人静月黑风高时候抓取的可能就会快一些,也视具体站点类型而定,主要思想是错开正常用户访问高峰,不断的调整。对于不同站点,也需要不同的抓取速度。

解读Baiduspider抓取系统的原理与索引建库

在建库环节前,Baiduspider会对页面进行初步内容分析和链接分析,通过内容分析决定该网页是否需要建索引库,通过链接分析发现更多网页,再对更多网页进行抓取——分析——是否建库&发现新链接的流程。理论上,Baiduspider会将新页面上所有能“看到”的链接都抓取回来,那么面对众多新链接,Baiduspider根据什么判断哪个更重要呢?两方面:

解读Baiduspider抓取系统的原理与索引建库

Baiduspider抓了多少页面并不是最重要的,重要的是有多少页面被建索引库,即我们常说的“建库”。众所周知,搜索引擎的索引库是分层级的,优质的网页会被分配到重要索引库,普通网页会待在普通库,再差一些的网页会被分配到低级库去当补充材料。目前60%的检索需求只调用重要索引库即可满足,这也就解释了为什么有些网站的收录量超高流量却一直不理想。

那么,哪些网页可以进入优质索引库呢。其实总的原则就是一个:对用户的价值。包括却不仅于:

上述优质网页进了索引库,那其实互联网上大部分网站根本没有被百度收录。并非是百度没有发现他们,而是在建库前的筛选环节被过滤掉了。那怎样的网页在最初环节就被过滤掉了呢:

更多关于aiduspider抓取系统原理与索引建库,请前往百度站长论坛查看文档。

您的电子邮箱地址不会被公开。必填项已用*标注

解读Baiduspider抓取系统的原理与索引建库

工作时间:周一至周六,9:30-22:30,节假日休息

相关标签: Baiduspider抓取原理搜索抓取原理索引收录

本文地址: http://www.521bn.com/article/89.html

相关内容相关内容
解读Baiduspider抓取系统的原理与索引建库

解读Baiduspider抓取系统的原理与索引建库

关于百度搜索引擎工作原理知识,有不少站长SEO还没有认真阅读和理解,本文解读Baiduspider抓取系统原理与索引建库,让SEOer对百度蜘蛛的收录索引建库有更多了解。一,Spider抓取系统的基本框架互联网信息爆发式增长,如何有效的获取并利用这些信息是搜索引擎工作中的首要环节。数据抓取系统作为整个搜索系统中的上...

随机推荐随机推荐
项目管理技术杂志

项目管理技术杂志 项目管理技术杂志

《项目管理技术》杂志创办于2003,影响因子0.56,现被知网收录(中)等机构收录,项目管理技术杂志社主要收录方向:前沿、实务、专栏、技术、论坛、资讯,CN刊号:11-5007/T,在学术界具有重要的影响力。

威海市财政局

威海市财政局 威海市财政局

暂无描述...

网站首页,中山诚业草场

网站首页,中山诚业草场 网站首页,中山诚业草场

中山诚业草场主营大叶油草,兰引三号草,老鹰草,台湾草,夏威夷草产品,是中山地区草坪的贡献者。电话:13450999770,13450999770

中小学作文

中小学作文 中小学作文

作文录为您提供专业、优秀中小学生作文,包括中考满分作文、高考满分作文、优秀作文大全、作文素材、作文辅导、英语作文等,欢迎踊跃投稿。

网络歌曲大全,Mp3歌曲免费下载试听推荐

网络歌曲大全,Mp3歌曲免费下载试听推荐 网络歌曲大全,Mp3歌曲免费下载试听推荐

超好听的新歌,最红的网络歌曲试听下载,尽在叮当音乐网。经典歌曲、流行歌曲、英文歌曲一网打尽,做最好的在线音乐网站。

【深圳蓝西特科技技公司】

【深圳蓝西特科技技公司】 【深圳蓝西特科技技公司】

深圳蓝西特科技技公司为您提供专业的车位划线,车牌自动识别,热熔划线等服务,公司位于,欢迎来电咨询:13316911316。

大乐网

大乐网 大乐网

南乐县第一门户网站

防静电地板、oa网络地板、机房防静电地板

防静电地板、oa网络地板、机房防静电地板 防静电地板、oa网络地板、机房防静电地板

常州市汇亚装饰材料有限公司主营防静电地板,OA网络地板,防静电通风板,机房防静电地板,陶瓷防静电地板,*钙防静电地板,金属木基防静电地板,铸铝防静电地板,架空地板,高架地板,如需订购温防静电地板,OA网络地板,防静电通风板,机房防静电地板,陶瓷防静电地板,*钙防静电地板,金属木基防静电地板,铸铝防静电地板,架空地板,高架地板,请联系我们常州市汇亚装饰材料有限公司,为您提供优惠的价格和优质的服务

铜阀门

铜阀门 铜阀门

铜阀门,铁阀门,不锈钢铸钢阀门,水表,管件,卫浴,洁具,五金配件,管道配件,紫铜管等是东莞市埃美柯阀门有限公司的主要产品,如果有什么需要请来电咨询,电话:86-0769-23024008

柳州市东坤贸易有限公司

柳州市东坤贸易有限公司 柳州市东坤贸易有限公司

柳州市东坤贸易有限公司,柳州市东坤贸易有限公司,糖酒,定型包装食品;建筑材料;非金属矿及制品;自有园林苗木;家用电器;日用百货;制糖机械及配件;庶渣