厦门公司网站开发：蜘蛛抓取错误,你需要知道的一切_极简慕枫

时间：2019-07-31

编辑:网站制作公司

6426

厦门公司网站开发当你遇到抓取错误,可以阻碍你的网站出现在搜索结果页面,即使你的目标受众表现理想的搜索查询。的抓取错误报告是,给网站的url,谷歌的细节不能够成功地爬,或那些返回一个HTTP错误代码。有两个主要部分错误报告, 网站错误和地址错误。

服务器错误

服务器错误发生在谷歌无法访问的URL,这个网站很忙,或请求超时。正因为如此,谷歌不得不丢弃该请求。谷歌无法访问该网站,因为它是被屏蔽或因为服务器落后太多回应。你可以补救的情况解决服务器的连接问题。

减少动态页面请求的加载时间。网站,提供相同的内容用不同的url被认为提供动态内容。有时这些加载时间过长,结果是超时的问题。为了补救这种情况,建议保持参数短和不经常使用它们。
你应该确保网站托管服务器不是配置错误,超载,或者只是下来。如果是,考虑增加你的网站的能力增加流量。
检查你不是不小心阻止谷歌。是的,这确实发生了。为了解决这个问题,发现阻塞的基础设施的一部分,并简单地删除它。如果防火墙中这是一个问题,你不能解决它,跟你的托管服务提供商。
明智地控制搜索引擎爬行和索引。一些网站所有者将阻止谷歌的目的,并完全控制如何网站爬行并索引。

服务器连接问题包括超时、截头连接重置,截断反应,拒绝连接,连接失败,连接超时,没有反应。

当服务器超时会发生超时等待请求。服务器可以配置或超载。
截头出现在谷歌成功连接到服务器,但连接被关闭之前,整个头被送。你需要再检查。
复位时服务器的连接处理谷歌的要求,但不能返回任何内容到服务器的连接被重置。
截断反应会发生当服务器关闭连接之前,谷歌能够得到一个完整的响应,因此,身体的反应是截断。
连接拒绝错误当谷歌无法访问的网站因为拒绝连接。托管提供商可能会阻止Googlebot或配置可能会搞混了。
连接是不可到达的或下降时,谷歌会连接失败错误。
随着谷歌无法连接到服务器,将一个连接超时错误。
没有响应错误显示当Google能够连接到网站服务器,但连接在服务器发送任何数据之前结束。

解决这些问题,您将需要确保服务器连接到互联网,而且它不是超载或配置不正确。

你也看到许多成功利用获取谷歌检查谷歌蜘蛛爬行网站。如果返回主页的内容没有问题,它是安全的假设谷歌实际上都正确的访问网站,可以适当地处理它。

与任何问题联系,等待一段时间,看看是否可以连接。

网站错误

在网站运营没有缺陷,”网站错误”的部分报告爬行的错误将不会显示任何错误,这适用于大多数的网站,谷歌爬行。如果谷歌已经在网站上发现任何相当数量的错误,你将被通知的消息到您的帐户的形式,无论网站的大小。首先看抓取错误页面,网站错误部分将显示一个状态码毗邻的所有3错误类型(服务器连接、DNS和机器人。三种获取)。正常显示这些将是一个绿色的复选标记。如果情况不是这样,你可以点击框,查看详细的图形细节的抓取,发生在过去的90天。

出错率高

如果你的网站报告任何3分类错误率为100%,很有可能因为某种原因,你的网站不工作。

有很多可能性:

所有的目录都需要present-ensure,他们没有被意外删除或移动。
评价所有新脚本,以确保他们没有故障的一遍又一遍。
如果网站被重组,审查所有外部链接,确保它们正常工作。
如果你有重组的网站,确保网站的权限为所有部分没有改变。

如果这些原因是为什么网站正在经历抓取错误,错误率可能只是一个路过的涌入,也可以归因于外部原因,喜欢一个人链接到一个不存在的页面。如果是这种情况,那么你的网站没有真正的问题。不管什么原因,当谷歌发现有异常多的错误一个网站,网站管理员将通知,以便调查并解决问题。

DNS错误

DNS错误发生当一个DNS服务器或有问题的路由域,那么谷歌机器人无法沟通。很多时候这些类型的错误不会影响广告访问网站的能力,它可以是一个症状高停滞,最终将影响你的网站的用户。

修复DNS错误,你可以做的第一件事是让谷歌爬行网站。指示获取谷歌上运行的一个重要页面(如主页)。如果它回来,不报告任何问题,它是安全的假设谷歌能够正常访问你所有的网站。

接下来,如果你有循环DNS错误,联系您的DNS提供商。很多时候,DNS提供商和网络主机是相同的实体。

此外,您可能需要设置您的服务器响应主机名不存在的HTTP错误代码404或500。时这是最适用的网站由用户生成的内容,让每个用户自己的域。在某些情况下,这可能会导致内容不小心被复制在主机名,然后在把惹Googlebot爬行。

如果遇到一个DNS查找或DNS超时,谷歌没能认识到主机名。你可以利用获取谷歌确保网站可能会适当地爬。如果返回的网站是没有问题,那么谷歌正常访问你的网站。您可能需要检查一下你的注册商,以确保网站是正确设置和服务器实际上是连接到互联网。

低错误率

当网站有一个错误率小于100%在任何给定的类别,这可能暗示着一个路过的条件,但这也可能意味着该网站被忽视或配置的方式是不正确的。这些问题应该看着更深,或者你可能会执行自己的搜索查询来找到答案。不要惊讶如果谷歌警报你一般的错误率是低端,这是正常的一个网站好配置零错误出现在这些类别。

机器人的失败

厦门公司网站开发当有一个问题找到一个网站的机器人。 txt文件。谷歌蜘蛛爬行网站之前,那么谷歌机器人将看这个文件,看看哪个页面,它不会爬。如果文件存在但不能达成,爬推迟,谷歌不爬任何意想不到的url。在这种情况下,广告将返回该网站和爬行机器人。 txt文件可以访问。

并不总是需要有一个机器人。 txt文件,令人惊讶的是。只有当网站需要包含url,网站所有者不希望谷歌蜘蛛索引。如果你的目标是让搜索引擎抓取你网站上的一切,你甚至不需要一个空的机器人。 txt文件。

地址错误的概述

错误报告的部分,是致力于URL错误分为类别将显示前1000名URL仅限于这一类的错误。不是每个错误出现在这方面需要你的关注,但你应该警惕确保密切监视错误,其中一些可能有负面影响你的网站的用户,谷歌的爬虫。谷歌已经将最重要的自由url顶部的报告。重要性是基于类似错误的数量以及引用URL的页面。

更具体地说,看下面:

站点地图可能需要更新。摆脱旧的url不再使用站点地图,当你添加新站点地图将取代旧的,是至关重要的删除旧的网站地图,而不是把一个重定向。
重要的文件未找到错误301重定向url。这些类型的错误很常见,但如果他们发生在非常重要的页面需要解决这些问题。特别是如果他们被旧的网站,页面链接拼写错误重要页面的url,旧url在一个网站地图,已被删除,最喜欢的页面的url不再存在,等等。照顾这样的错误时,你要确保你所有的最重要的信息(希望你的信息作为一个整体)不仅可以访问谷歌,但所有互联网用户。
你应该保持你的重定向简单和短。如果有很多url重定向多几次,这可能是广告很难遵循这些然后解释它们。尽量保持低数量的重定向。
利用一个网站地图生成器像绝妙的映射器来优化你的站点地图。