【SEO】2019全新谷歌站长索引状态详解

状态
每个网页都可能会具有下述常规状态类型之一：

错误：该网页尚未编入索引。请参阅下文中有关具体错误类型的说明，详细了解相应错误及修正方法。您应首先关注这类问题。
警告：该网页已编入索引，或直到最近才编入索引，但包含应引起您注意的问题。
已排除：该网页因通常无法由您控制的原因而未被纳入索引编制范围。该网页可能处于索引编制流程的中间阶段，或者已被您特意排除（例如，通过“noindex”指令），因此其行为符合预期。
有效：该网页已编入索引。

原因
每种状态（有效、警告、错误、已排除）都可能会有对应的具体原因。表格中的数据会按原因分组；每一行可以描述一个或多个网址。请参阅下文的状态类型说明，了解每种状态类型的说明及处理方式。

状态原因

以下是您的每个网页之所以会处于当前状态的可能原因。

已提交与未提交

每当您看到使用“已提交”字词的索引结果时，就意味着您已通过在站点地图中提交相应网址来明确请求 Google 将该网址编入索引。

错误

处于“错误”状态的网页未被编入索引。

服务器错误 (5xx)：当相应网页被请求时，您的服务器返回了 500 类错误。请参阅修正服务器错误。

重定向错误：打开相应网址时发生了重定向错误。原因可能是以下类型之一：此网址是一个过长的重定向链；此网址导致了重定向循环；最终的重定向网址超出了网址长度上限；此重定向链中含有错误网址或空网址。

网址已提交，但被 robots.txt 屏蔽了：您提交了相应网页以供编入索引，但该网页被 robots.txt 屏蔽了。请尝试使用 robots.txt 测试工具来测试该网页。

网址已提交，但带有“noindex”标记：您提交了相应网页以供编入索引，但它的元标记或 HTTP 标头中带有“noindex”指令。如果您想将该网页编入索引，则必须移除相关的标记或 HTTP 标头。

网址已提交，但貌似会返回软 404 错误：您提交了相应网页以供编入索引，但服务器貌似返回了软 404 错误。

网址已提交，但会返回“未授权的请求”(401) 错误：您提交了相应网页以供编入索引，但 Google 收到了 401（未授权）响应。请撤消该网页的授权要求，或允许 Googlebot 通过验证自己的身份访问该网页。

网址已提交，但会返回“未找到”(404) 错误：您提交了相应网址以供编入索引，但该网址不存在。请参阅修正 404 错误。

网址已提交，但存在抓取错误：您提交了相应网页以供编入索引，但 Google 遇到了不明抓取错误（不属于任何其他原因类型）。请尝试使用网址检查工具来调试该网页。

警告
您可能需要注意处于“警告”状态的网页，这类网页未必已被编入索引，具体因相应的结果条目而异。

已编入索引，尽管遭到 robots.txt 屏蔽：该网页已被编入索引，尽管它遭到 robots.txt 屏蔽（Google 始终都会遵从 robots.txt 中的指令，但如果有其他网页链接到该网页，Google 依然能够抓取该网页并将其编入索引）。该网页的状态之所以会被标记为“警告”，是因为我们不确定您的初衷是否是要从搜索结果中屏蔽该网页。如果您确实想屏蔽该网页，使用 robots.txt 并不能完全防止该网页被编入索引。 要想彻底防止该网页被编入索引，您应该使用“noindex”，或使用身份验证机制禁止匿名访问该网页。您可以使用 robots.txt 测试工具来确定哪条规则会使该网页被屏蔽。由于存在 robots.txt，系统显示的任何与该网页相关的摘要都可能不是最理想的。如果您不想屏蔽该网页，请更新您的 robots.txt 文件以取消屏蔽该网页。

有效
处于“有效”状态的网页已被编入索引。

已提交，且已编入索引：您提交了相应网址以供编入索引；系统已将该网址编入索引。

已编入索引，但未在站点地图中提交：相应网址已被 Google 发现，且已被编入索引。我们建议使用站点地图提交所有重要网址。

已编入索引；考虑将其标为规范网址：相应网址已被编入索引。存在与它重复的网址，但我们认为此网址是规范网址。此网址未被明确标记为规范网址，因此我们建议将此网址明确标记为规范网址。

已排除

处于“已排除”状态的网页通常不会被编入索引，但我们认为这是您的本意。

被“noindex”标记屏蔽了：当 Google 尝试将相应网页编入索引时，它收到了“noindex”指令，因此未将该网页编入索引。如果您不希望该网页被编入索引，那么恭喜您得偿所愿！如果您希望该网页被编入索引，您则应移除该“noindex”指令。

被网页移除工具屏蔽了：相应网页目前已被网址移除请求屏蔽。如果您是一位经过验证的网站所有者，则可以使用网址移除工具查看是谁提交了网址移除请求。移除请求只在指定的时间段内有效（请参阅链接到的文档）。待此时间段过后，即使您未另行提交索引编制请求，Googlebot 也可能会再次访问该网页并将其编入索引。如果您不希望该网页被编入索引，请使用“noindex”、为该网页设置授权要求或移除该网页。

已被 robots.txt 屏蔽：robots.txt 文件禁止 Googlebot 访问相应网页。您可以使用 robots.txt 测试工具检查是否确实存在此情况。请注意，这并不意味着该网页不会被通过某些其他方式编入索引。 如果 Google 不必加载该网页就能找到与它相关的其他信息，那么该网页仍然可能会被编入索引（尽管这种情况不太常见）。为确保 Google 不会将该网页编入索引，请移除 robots.txt 中的屏蔽指令，然后改用“noindex”指令。

被屏蔽了，因为会返回“未授权的请求”(401) 错误：Googlebot 无法访问相应网页，因为该网页设有授权要求（返回了 401 响应）。如果您希望 Googlebot 能够抓取该网页，请移除授权要求，或允许 Googlebot 访问您的网页。

抓取异常：抓取相应网址时发生了不明的异常情况。这可能意味着返回了 4xx 或 5xx 级别的响应代码；请尝试使用 Google 抓取工具抓取该网页，看看是否会遇到任何抓取问题。该网页未被编入索引。

已抓取 – 尚未编入索引：Google 已抓取相应网页，但尚未将其编入索引。日后，该网页可能会被编入索引，也可能不会被编入索引；无论如何，您都无需重新提交该网址以供抓取。

已发现 – 尚未编入索引：Google 已发现相应网页，但尚未将其编入索引。这通常意味着：Google 尝试抓取该网址了，但当时相应网站正处于超载状态；因此，Google 不得不重新安排抓取时间。这就是该网页的上次抓取日期在报告中为空的原因。

备用网页（有适当的规范标记）：相应网页与 Google 所识别出的规范网页重复。该网页正确地指向了这个规范网页，因此您无需执行任何操作。

重复网页（无规范标记）：相应网页与其他网页重复，并且这些网页都未被标记为规范网页。因此，我们认为该网页不是规范网页。您应明确地为该网址标记规范网页。检查此网址应该会显示 Google 选择的规范网址。

重复的非 HTML 网页：相应的非 HTML 网页（例如 PDF 文件）与已被 Google 标记为规范网页的另一网页重复。通常只有规范网址会显示在 Google 搜索中。如果需要，您可在响应中使用包含 <link> 标记的 HTTP 标头指定规范网页。

Google 选择的规范网页与用户指定的不同：相应网址被标记为一组网页的规范网页，但 Google 认为另一网址更适合作为规范网页。Google 已将其认为是规范网页的网页（而不是这个网页）编入索引。我们建议您将此网页明确标记为相应规范网址的重复网页。此网页是在没有任何明确抓取请求的情况下发现的。检查此网址应该会显示 Google 选择的规范网址。

未找到 (404)：当被请求时，相应网页返回了 404 错误。此网址是 Google 在没有任何明确请求或站点地图的情况下发现的。可能是 Google 通过来自其他网站的链接发现了此网址，也可能是该网页先前存在过但后来又被删除了。Googlebot 可能会继续尝试访问该网址，这种行为可能会持续一段时间；虽然 Googlebot 会逐渐降低对该网址的抓取频率，但我们无法让它永久地忘记某个网址。如果此情况是有意为之，那么您可以忽略 404 响应。如果您的网页已不在原位置，请使用 301 重定向将用户转到新位置。

网页因法律投诉被移除了：相应网页已被从索引中移除，因为我们收到了法律投诉。

网页会自动重定向：相应网址是重定向网页，因此未被添加到索引中。

已加入待抓取队列：相应网页已在待抓取队列中；请过几天再来查看该网页是否已被抓取。

软 404：在我们看来，针对相应网页发出的请求返回了软 404 响应。这意味着所返回的内容只是一条便于用户理解的“未找到”消息，其中并未包含相应的 404 响应代码。我们建议仅为“未找到”网页返回 404 响应代码，或者向相应网页中添加更多信息以告知我们这不是软 404。

网址已提交，但又被移除了：您提交了相应网页以供编入索引，但由于某种不明原因，该网页又被从索引中移除了。

网址已提交，但未被选为规范网址：相应网址是一组重复网址中的一个网址，并且这些网址均未被明确标记为规范网页。尽管您已明确要求将该网址编入索引，但由于它是重复网址，且 Google 认为另一网址更适合作为规范网页，因此 Google 没有将该网址编入索引，而是将我们选择的规范网址编入了索引。（Google 只会将一组重复内容中的规范网址编入索引。）此状态与“Google 选择的规范网页与用户指定的不同”状态的区别在于：在这种情况下，您已明确请求将该网址编入索引。检查此网址应该会显示 Google 选择的规范网址。