WordPress外贸站如何检查noindex和robots设置冲突？

WordPress 外贸站排查 noindex 和 robots 冲突，不能只看 SEO 插件。要同时查线上 robots.txt、页面 HTML 里的 robots meta、HTTP Header 里的 X-Robots-Tag、WordPress 阅读设置、SEO 插件和主题代码；否则产品页可能被误挡，thank-you 页又未必真正去索引。

这篇不再重复 robots.txt、noindex、canonical 的基础定义。
只讲 WordPress 外贸站怎么排查冲突。

先列 URL 意图，不要直接改规则

先把页面分成三类：

外贸站最怕两种事故：
该进索引的产品页被 noindex；该保护的客户资料只靠 robots.txt。

第一步：查线上 robots.txt

先看真实线上文件，不要只看后台插件预览：

SITE="https://www.example.com"

curl -sS "$SITE/robots.txt" | \
  sed -n '1,200p'

再筛重点行：

curl -sS "$SITE/robots.txt" | \
  grep -Ein \
  'user-agent|disallow|allow|sitemap|googlebot|bingbot|wp-admin|wp-content|noindex'

重点排查这些危险写法：

User-agent: *
Disallow: /

User-agent: *
Disallow: /products/
Disallow: /product-category/
Disallow: /faq/

还有一种老问题：在 robots.txt 里写 Noindex:。
Google 现在不支持把 Noindex: 当作可靠 robots.txt 指令。需要控制索引，应使用页面 robots meta 或 X-Robots-Tag。

第二步：查页面 HTML 里的 robots meta

选几个外贸核心 URL 抽样：

PAGE="https://www.example.com/products/industrial-valve/"

curl -sS -L "$PAGE" | \
  grep -Ein \
  '<meta[^>]+name=["'"'"']robots["'"'"']|noindex|nofollow|canonical'

如果公开产品页里出现：

<meta name="robots" content="noindex, nofollow">

那就要回 WordPress 后台、SEO 插件、主题模板或代码里找来源。
产品页、分类页、FAQ 页、案例页这类公开页面，一般不应该被误设为 noindex。

第三步：查 HTTP Header 里的 X-Robots-Tag

有些 noindex 不在 HTML 里，而在响应头里：

curl -sS -I -L "$PAGE" | \
  grep -Ei '^(HTTP/|x-robots-tag:|content-type:|location:)'

如果你查 PDF、图片、下载文件，也要看这个头：

FILE="https://www.example.com/downloads/catalog.pdf"

curl -sS -I -L "$FILE" | \
  grep -Ei '^(HTTP/|x-robots-tag:|content-type:|location:)'

X-Robots-Tag 可能来自服务器配置、CDN、SEO 插件或自定义代码。
不要只在 WordPress 页面编辑器里找。

第四步：查 WordPress 阅读设置

WordPress 后台有一个容易被忘记的开关：

Settings > Reading > Search engine visibility

检查：
- Discourage search engines from indexing this site 是否被勾选
- 测试站迁移到正式站后，这个选项是否仍然开启
- 取消勾选后，重新检查页面 meta robots 与响应头

如果正式外贸站上线后产品页长期不进索引，这个选项是第一批要查的地方。
WordPress.org 文档说明，勾选这个选项是请求搜索引擎不要索引站点；在较新的 WordPress 版本中，它会通过 wp_head 输出 robots meta。这里仍要加限定：如果主题没有正确调用 wp_head，或者服务器 / CDN 另行注入响应头，最终线上输出仍要用 curl 检查。

Site Health 也可以作为辅助入口。WordPress 的 Site Health 信息里会显示站点是否正在阻止搜索引擎索引。它适合提醒你“全站层面可能有问题”，但不能替代 URL 级别抽样检查。

第五步：查 SEO 插件和主题代码来源

常见来源可以按这个顺序排：

WordPress 开发文档里有 wp_robots_noindex() 和 wp_robots 相关机制。
如果你们有开发同事，可以让他搜索主题和插件里的这些关键词：

grep -RIn \
  'wp_robots\\|robots_txt\\|noindex\\|X-Robots-Tag' \
  wp-content/themes wp-content/plugins

这条命令只适合在有权限的服务器或本地代码副本里跑。不要在生产环境乱改文件。

第六步：判断是不是 Disallow + noindex 打架

最常见的冲突是：

robots.txt:

User-agent: *
Disallow: /thank-you/

页面里又写：

<meta name="robots" content="noindex, follow">

如果搜索引擎被 robots.txt 拦住，它可能抓不到页面，也就看不到页面里的 noindex。
所以想让一个页面退出索引，通常要让 crawler 能访问到 noindex 指令。等状态稳定后，再按资源消耗或隐私需求决定是否限制抓取。

但敏感资料是另一回事。
报价单、客户资料、上传图纸、后台页面，不应该靠 robots.txt 或 noindex 保护，而应该用登录鉴权、权限控制和服务器访问限制。

第七步：做一个抽样检查表

这张表比“插件里看起来没问题”更可靠，因为它看的是线上实际输出。

第八步：修复后怎么复查

修复后不要只刷新后台。重新跑一遍：

curl -sS "$SITE/robots.txt" | \
  sed -n '1,200p'

curl -sS -L "$PAGE" | \
  grep -Ein \
  '<meta[^>]+name=["'"'"']robots["'"'"']|noindex|nofollow|canonical'

curl -sS -I -L "$PAGE" | \
  grep -Ei '^(HTTP/|x-robots-tag:|content-type:|location:)'

如果修的是 Google 索引问题，再去 Search Console 用 URL Inspection 看当前状态，并请求重新抓取。
这不是保证恢复排名，只是让 Google 更快重新处理最新状态。

常见误判

WordPress 外贸站做 AI SEO，先别急着加新页面。先确认核心产品页、分类页、FAQ、案例、About、RFQ 说明页没有被 noindex 或 robots 误伤。技术入口打通了，后面的内容优化才有意义。

参考资料

• Google: Introduction to robots.txt
• Google: Block Search indexing with noindex
• Google: Robots meta tag and X-Robots-Tag specifications
• Google: Ask Google to recrawl your URLs
• WordPress Documentation: Reading Settings
• WordPress Documentation: Site Health Screen
• WordPress Developer Resources: wp_robots_noindex()
• WordPress Developer Resources: wp_robots
• WordPress Developer Resources: robots_txt filter