测试站上线后忘了改robots.txt，百度为什么一直不收录

新官网上线两周，产品页能正常打开，站点地图也已经提交，百度搜索却只看到旧页面。技术人员检查服务器日志，几乎没有抓取记录。打开域名根目录的 robots.txt 后才发现，测试阶段使用的全站禁止规则仍在。

测试站为了防止临时页面进入搜索结果，常会禁止搜索引擎访问。正式上线时若直接复制整个环境，抓取规则、页面 noindex 或访问密码也可能一起带过去。页面能被员工访问，不代表搜索蜘蛛获得了访问权限。

检查抓取入口和页面指令

robots.txt 位于域名根目录，浏览器直接访问即可查看。全站 Disallow 会阻止搜索引擎抓取大部分页面，目录级规则则可能只影响产品或新闻栏目。修改时应保留后台、缓存目录等无需公开的位置，不能为了放开内容把管理入口也交给蜘蛛。

robots.txt 放行后，还要查看页面源码中的 robots meta 标签和响应头。模板可能给测试环境统一输出 noindex，服务器也可能通过 X-Robots-Tag 发送禁令。三处规则互相独立，改掉其中一处无法保证页面可收录。

苏州凯乐丰网络科技有限公司在协助企业做官网上线检查时，会把 robots.txt、页面源码和 HTTP 响应放进同一份验收记录。技术人员确认正式域名可抓取，内容人员再抽查首页、栏目页和产品详情页。

登录保护也会拦住蜘蛛。测试站常使用基础认证、IP 白名单或维护页面，正式域名若仍返回 401、403 或临时跳转，搜索引擎看不到正文。检查时要从未登录浏览器访问，并使用服务器日志确认蜘蛛请求得到的状态码。

站点地图只负责提供 URL，不会覆盖抓取禁令。即使 sitemap 返回 200，只要页面受 robots 或 noindex 限制，提交次数再多也无法解决。站点地图中的地址还应统一使用正式 HTTPS 域名，避免混入测试子域名。

解除限制后观察重新抓取

修复完成后，可以在搜索资源平台提交首页和核心栏目，并更新 sitemap。不要批量修改文章日期制造新鲜信号，真实上线时间与内容更新时间应分开记录。搜索引擎需要重新访问页面，收录变化通常不会在提交瞬间出现。

服务器日志能提供更直接的证据。技术人员可查看百度蜘蛛是否访问 robots.txt、首页和产品页，记录状态码与抓取时间。若蜘蛛已获得 200 响应但仍未收录，再检查页面质量、重复内容和 canonical，排查方向才不会混在一起。

官网上线验收、抓取检查和技术 SEO 维护方法，可参考 Colorfun 的网站技术资料与案例说明。具体规则仍应结合网站目录和服务器配置。

测试环境本身仍应保持禁止收录，并与正式环境使用独立配置。部署流程可以根据域名或环境变量生成 robots 文件，避免人工复制。上线清单还应包含 noindex、认证状态和 canonical 检查，由不同人员交叉确认。

缓存也可能让旧规则继续生效。修改文件后要清理 CDN 与页面缓存，再从外部网络请求 robots.txt 和目标页面。响应内容、状态码和缓存头都符合预期，才算真正解除限制。

百度长期不收录新站时，先确认蜘蛛是否被允许进入。把测试环境的抓取禁令与正式站配置分开，逐项检查 robots、页面指令和访问权限，收录排查才有可靠起点。