“googlebot”相关日志

• 

  Goolge网站地图22天前

  作者：Chenny　标签： 地图  网页  google  抓取  googlebot 

  Google 可通过站点地图发现用其他方式可能无法在您的网站上找到的网页。用最简单的话来讲，XML 站点地图（一般就叫站点地图）就是您网站上各网页的列表。创建并提交站点地图有助于确保 Google 了解您网站上的所有网页，包括 Google 在正常抓取过程中可能找不到的网址。在以下情况下，站点地图特...

• 

  Googlebot抓取网页的原理181天前

  作者：天空之城　标签： google  googlebot  matt  网页  proxy 

   Google的Matt Cutts确认了AdSense的Mediabot的确是会帮助Googlebot抓取网页的消息，但有部分人不相信Matt Cutts，或者不相信他能代表Google官方。作为Matt Cutts的blog的一名忠实读者，我觉得完全没必要花费篇幅再去特别说明Matt ...

• 

  HTTP 状态码(全)622天前

  作者：Jackey　标签： 请求  代理  网页  googlebot  响应 

  HTTP 状态码200 - 服务器成功返回网页404 - 请求的网页不存在503 - 服务器超时 以下是 HTTP 状态码的完整列表。您也可以访问 HTTP 状态码上的 W3C 页以了解更多信息。 1xx 状态码 表示临时响应并需要请求者继续执行操作的状态码。 100（继...