robots协议最容易忽略却很致命的小细节
时间:2022-04-30 - 浏览:

在我看来robots协议就是站长行使网站支配权的执行文件,这是我们作为站长最基本的权利。它是搜索引擎蜘蛛爬取网站之前要面对的第一道关口,所以robots协议的重要性也是可想而知了。都说细节决定成败,那么越重要的东西细节就[…]

在我看来robots协议就是站长行使网站支配权的执行文件,这是我们作为站长最基本的权利。它是搜索引擎蜘蛛爬取网站之前要面对的第一道关口,所以robots协议的重要性也是可想而知了。都说细节决定成败,那么越重要的东西细节就显得尤为重要,往往自己一不小心忽略的一个细节到最后就可能会成为你的致命一击。本人之所以会这么说,是因为我差点就成了这个问题的反面教材了,还好发现的及时也算是亡羊补牢吧!之所以想立即分享给大家,就是希望大家以后自己做站的时候要避免犯类似的错误。

事情其实就发生在今天,经过是这样的:因为小明SEO博客也刚做好不久,前几天网站上线之后发现还有很多小问题需要处理,为了避免网站还在调整的过程中就被搜索引擎抓取到,所以我在robots协议里面写了禁止所有搜索引擎爬取网站任何部分的指令,网站的调整一直持续了几天(之所以会弄这么长时间是因为我是一个不能容忍瑕疵的人,不知道这算不算强迫症的一种),直到昨天也就是2月3号才全面竣工,但是这期间我每天都在坚持添加原创文章。昨天网站检查完毕,全部问题都解决好以后,我就把robots协议重新更换了过来,并且发了一篇帖子引了蜘蛛希望爬虫能快点过来爬我的网站。就这样,到了今天早上发现网站还是没有被收录,于是我就去百度站长工具平台看一下我的网站到底是个什么情况,进去一看吓我一跳,因为我看到了下面一则(如图所示)信息:

我的网站竟然对百度进行了全面封禁,检测时间是在今天(2月4号)早上凌晨5点整的时候,这让我像丈二的和尚摸不着头脑了,太不科学了,因为我在昨天2月3号上午已经把网站的robots协议更改过来了,真的是太奇怪了。就在我百思不得其解的时候总算是通过站长平台工具的“robots检测”找到了答案,看下图:

更新以后一分钟内协议就更新过来了,如下图:

网站终于被收录了,但让我最开心的还是我通过自己的努力找到问题并解决了问题,这才是我今天最大的收获。当然了如果这个问题我发现不了,可能网站再过十天半个月也会毫无起色,所以我要提醒大家的就是关于robots协议在封禁蜘蛛之后到后期在解封的时候一定要记得及时更新robots协议,这是一个不容被忽视的小细节。也许按照自己的一贯常识觉得只要通过输入“http:域名obots.txt看一下网站的协议改过来了没有就可以了,但是通过实践证明这种方式也不是完全可靠的,所以一定要记住我这次的经验教训,robots一旦进行调整就一定要记得及时提交更新,不然被蜘蛛抓取了不该抓的或者一直把蜘蛛拒之门外耽误了自己的时间那就真的是后悔莫及了。

温馨小提示:刚才看了一下时间,已经转钟到了第二天了,写这篇文章的时候是在2月4号,但是现在发布的时间已经转点到2月5号了,所以文章提到的“今天”也就是2月4号,希望大家不要看糊涂了。

相关标签: robots协议

本文地址: http://www.521bn.com/article/40.html

相关内容相关内容
robots协议最容易忽略却很致命的小细节

robots协议最容易忽略却很致命的小细节

在我看来robots协议就是站长行使网站支配权的执行文件,这是我们作为站长最基本的权利。它是搜索引擎蜘蛛爬取网站之前要面对的第一道关口,所以robots协议的重要性也是可想而知了。都说细节决定成败,那么越重要的…

随机推荐随机推荐
教育

教育 教育

MBA环球网是通过收集、加工、存储教育信息,向上网用户提供教育和其他有关教育公共信息服务的网站。

题库,考试题库,考试试卷与题目

题库,考试题库,考试试卷与题目 题库,考试题库,考试试卷与题目

题库网,分享考试题库与题目资料,包含各类考试试卷试题与答案、在线搜题与练习.分类有医卫题库、职业资格考试、建筑工程试题、财会真题等。总题库欢迎您!

山东十方硬质合金刀具有限公司

山东十方硬质合金刀具有限公司 山东十方硬质合金刀具有限公司

硬质合金机夹刀片机用刀片焊接刀片焊接刀片数控刀具

退火炉,台车式退火炉,燃气退火炉生产厂家

退火炉,台车式退火炉,燃气退火炉生产厂家 退火炉,台车式退火炉,燃气退火炉生产厂家

丹阳市丰泰工业炉有限公司是专业生产台车式退火炉,井式退火炉,燃气退火炉,天然气退火炉,高温退火炉等热处理炉厂家,价格合理,型号图片齐全,免费上门安装调试

关键词SEO优化,百度搜索引擎网站排名推广

关键词SEO优化,百度搜索引擎网站排名推广 关键词SEO优化,百度搜索引擎网站排名推广

云客网(www.yuntask.com)是SEO行业的众包服务平台,对搜索引擎排名前两页的关键词按天扣费的预存式模式。目前云客网平台SEO优化师规模16000+,已成为了较大的搜索引擎优化技术服务人员SEO优化师集聚平台;致力于打造成国内(全球)知名的SEO众包服务交易平台。

定做工装工作服

定做工装工作服 定做工装工作服

依兰琳卡工作服厂家,专业提供工作服定做,订做工作服,工作服定制,定制工作服,从面料、款式、颜色等各方面为您提供满意的定制方案专业工作服厂家选依兰琳卡。咨询热线:010-63421111

脑囊虫病

脑囊虫病 脑囊虫病

  脑囊虫病是指猪绦虫的幼虫寄生于脑、脑膜、脑室内引起相应神经功能障碍的疾病。占囊虫病的80%以上。我国华北、东北、西北等地,发病率较高。

潮州二手车

潮州二手车 潮州二手车

淘车网潮州二手车频道,为您提供潮州二手车交易市场最新价格动态,海量车源信息、图片,标准无事故,真实可靠的商家及个人二手车车源信息,让您放心买卖二手车。买卖二手车,就选淘车网北京二手车频道。

新乡市高服筛分机械有限公司官方首页

新乡市高服筛分机械有限公司官方首页 新乡市高服筛分机械有限公司官方首页

您想提高您的产品质量么?您想让您的产品更具有竞争力么?选择高服,他将是您走向成功走向辉煌的朋友!,我们主要经营直线振动筛,矿用振动筛,xx直线振动筛,概率振动筛,块偏心圆振动筛,直线棒条振动筛,直线等厚振动筛,螺旋输送机,电机振动垂直提升机,振动输送机,电机振动给料机,脱水筛,电磁给料机,脱水筛,旋振筛,振动电机,超声波振动筛,气流筛分机,气流筛,摆动筛,防爆电机,检验筛,给料机,和直线振动筛,矿用振动筛,xx直线振动筛,概率振动筛,块偏心圆振动筛,直线棒条振动筛,直线等厚振动筛,如果有兴趣请联系我们公司新乡市高服筛分机械有限公司,我们会以好的质量有竞争力的价格是您的优选!

小柒云

小柒云 小柒云

小柒云是由微笑互联为小企业打造的一款企业网站建设平台,为企业提供自助建站服务;为满足各行各业的企业网站建设需求,平台已上线千余种企业网站模板,帮助企业快速进行网络营销推广,

DNA亲子鉴定中心

DNA亲子鉴定中心 DNA亲子鉴定中心

DNA亲子鉴定中心是一家专门提供亲子鉴定服务机构,目前联合了多家权威法医物证司法鉴定及基因检测公司的亲子鉴定服务咨询机构,总部位于深圳。常年为国内外客户提供专业权威的DNA亲子鉴定服务。