我们使用和进行了检查但页面再

rosemardi692

为什么页面使用无索引标签建立索引这个问题的答案在这篇文章中。这是一件伤脑筋的事。开发人员在头部安装了一些广告技术并插入了非标准标签即不是标题风格基地链接元脚本无脚本这导致头部过早结束并且无索引标签留在正文中未被读取的地方。为什么网站上的任何页面大约的时间会返回但仅限于爬虫这需要一些时间才能弄清楚。客户有一个旧的旧网站有两台服务器一台用于博客一台用于网站的其余部分。将博客从子域迁移到子目录后不久就开始出现此问题。


从表面上看一切都很好但实际上一切都很好。如果用户请 比利时电话号码表 求任何单独的页面那么一切看起来都很好。爬行所有博客以检查它们是否已重定向效果很好。但我们注意到中标记的错误急剧增加并且在例行站点范围抓取期间许多手动检查时正常的页面导致了重定向循环。次正常。最终事实证明当在博客页面之后非常快地请求非博客页面时实际上只有爬虫才能足够快地实现对非博客页面的请求将被发送到博客服务器。




然后这些内容将被长期被遗忘的重定向规则捕获该规则将已删除的博客文章或其他无用的进行重定向到根。反过来这一点被一揽子到重定向规则捕获该规则将再次向博客服务器请求从而使循环永久化。例如请求然后快速请求将导致到这是将已删除的博客文章重定向到根目录的规则到这是全面的重定向到博客服务器不知道非博客主页它会重定向回版本。冲洗并重复。这导致了周期性的错误这意味着我们可以与他们的开发人员合作来解决问题。你玩过的最好的脑筋急转弯是什么人们让我们听听他们的声音。你遇到了什么问题让我们在评论中知道。还要感谢和对本文的帮助。