Googlebot 管的是 Google Search 能不能抓到和理解你的页面；Google-Extended 管的是部分非 Search 的 Gemini 训练和 grounding 使用边界；AI Overviews / AI Mode 是 Google Search 里的 AI 展示形态。外贸站想争取 AI Overviews 的 supporting link，别去拧 Google-Extended，先把 Search 抓取、索引和 snippet 权限配对。
很多外贸站最近做“AI SEO”时，最容易犯的错是：看到 Google-Extended，就以为它是 AI Overviews 的开关；看到 robots.txt，就以为它能控制页面是否进入 AI 答案。
这两个判断都不稳。
真正要拆开看的是：谁来抓取、谁来索引、谁来展示、谁来控制内容使用范围。这也是 Googlebot Google-Extended AI Overviews配置边界 这件事的核心。
先把四个概念放到一张表里
| 对象 | 它是什么 | 主要控制点 | 对外贸站的直接影响 | 容易误解的地方 |
|---|---|---|---|---|
| Googlebot | Google Search 的主要抓取器 | robots.txt、服务器可访问性、页面渲染、内部链接 |
决定产品页、FAQ、案例页、供应商介绍页能否被 Google Search 抓取 | 不是所有 Google 产品都等于 Googlebot，但 Search 抓取绕不开它 |
| Google-Extended | 独立的 product token，不是单独 HTTP user-agent | robots.txt 里的 User-agent: Google-Extended |
控制 Google 已抓取内容是否可用于 Gemini 模型训练，以及 Gemini Apps / Vertex AI Gemini grounding 等部分非 Search 系统 | 它不控制 Google Search 收录，也不是 Search ranking signal |
| AI Overviews / AI Mode | Google Search 中的 AI 功能 | Search 索引资格、snippet 展示资格、内容质量 | 页面若要作为 supporting link，必须已被 Google Search 索引，并有资格在 Search 中显示 snippet | 没有额外专用技术要求；不是靠一个 AI bot 开关加入 |
| noindex / snippet controls | 页面级索引和摘要展示控制 | robots meta、X-Robots-Tag、nosnippet、max-snippet |
会影响页面是否能出现在 Search，以及是否可显示摘要 | robots.txt 阻止抓取时，Googlebot 可能看不到页面里的 noindex |
这张表可以帮你做一个最简单的判断：如果目标是 Google Search 里的 AI Overviews / AI Mode，可见性问题首先属于 Search SEO，不属于 Google-Extended 配置。
Google-Extended 不是 AI Overviews 开关
Google-Extended 的关键点有三个：
- 它是
robots.txt里的 product token。 - 它没有单独的 HTTP user-agent 字符串，抓取仍通过已有 Google user agent 完成。
- Google 官方说明它不影响网站进入 Google Search，也不是 Google Search ranking signal。
所以，下面这种写法不是“阻止 AI Overviews 引用我”，而是在表达另一个业务选择：不希望已被 Google 抓取的内容用于部分 Gemini 相关训练或 grounding 场景。
User-agent: Google-Extended
Disallow: /这不是说不能这么配。它可以是法务、版权、数据策略上的选择。问题是：不要把它当成 AI Overviews 的控制旋钮。
如果你的公开推广页希望出现在 Google Search、AI Overviews 或 AI Mode 的 supporting links 候选范围里，核心不是允许 Google-Extended，而是：
- Googlebot 能抓取；
- 页面能被索引；
- 页面有资格显示 snippet；
- 页面内容对查询有真实帮助；
- 页面不是登录后、脚本后、地区屏蔽后才可见。
外贸站哪些页面应该优先保持 Search 可见
外贸企业通常有两类页面：一类是公开获客页面，一类是业务系统页面。前者要被 Search 看见，后者要被保护。
适合保持 Google Search 可抓取、可索引、可摘要的页面：
| 页面类型 | 建议 | 原因 |
|---|---|---|
| 产品页 | 保持可抓取、可索引、可显示 snippet | 买家会搜规格、材质、MOQ、认证、应用场景 |
| FAQ 页 | 保持可抓取、可索引、可显示 snippet | 适合回答采购前问题，如 lead time、sample policy、custom packaging |
| 供应商介绍页 | 保持可索引，信息要具体 | AI Overviews 需要能判断你是谁、做什么、服务哪些市场 |
| 案例页 | 保持可索引，避免空泛 | “某行业解决方案”“某国家项目经验”更容易支撑复杂查询 |
| 证书/质检说明页 | 视情况公开 | 可支撑 B2B 买家的信任判断，但注意隐去敏感编号或客户资料 |
不适合公开抓取的页面：
/wp-admin/- 客户后台
- 报价单
- 未公开合同
- 内部搜索结果页
- 测试页面
- 购物车、结账、账号中心
- 带客户姓名、邮箱、订单信息的页面
外贸站最常见的问题不是“没给 AI 喂内容”，而是把公开推广页和业务隐私页混在同一个爬虫策略里处理。结果要么公开页被误封，要么后台页暴露给搜索引擎。
robots.txt 应该怎么配：先服务 Search 抓取
如果你的目标是让公开英文推广页进入 Google Search 的正常候选范围，robots.txt 的配置应该清楚表达：公开内容允许抓取，后台和非营销页面限制抓取。
示例：
User-agent: Googlebot
Allow: /
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /customer-portal/
Disallow: /internal-search/
Sitemap: https://www.example.com/sitemap.xml如果你还想单独控制 Google-Extended，建议分开写、分开决策、分开解释，不要把它写进“AI Overviews 优化方案”。
例如，公司决定不允许内容用于 Google-Extended 涉及的部分非 Search 使用场景，可以这样单独配置：
User-agent: Google-Extended
Disallow: /但请把这句话写进内部文档：这不是 AI Overviews 开关，也不会阻止 Google Search 抓取或排名本身。
常见误配：把用途写反了
| 错误配置思路 | 问题在哪里 | 更稳的写法 |
|---|---|---|
“不想进 AI Overviews，所以禁止 Google-Extended” |
Google-Extended 不是 AI Overviews / AI Mode 的开关 | 如果目标是控制 Google Search 展示，看索引、snippet 和 Googlebot 抓取 |
“想进 AI Overviews，所以允许 Google-Extended” |
允许 Google-Extended 不等于获得 Search AI supporting link | 公开推广页先保证 Googlebot 可抓、可索引、可显示 snippet |
| “报价页不想被搜索到，只在 robots.txt 里 Disallow” | robots.txt 主要管抓取，不是可靠隐藏方式 | 敏感内容不要公开；需要退出 Search 时用权限控制或 noindex |
“给所有页面加 nosnippet，防止被 AI 摘走” |
可能影响 Search 摘要和 AI features supporting link 资格 | 只对确有法务/版权需求的页面限制摘要 |
如果想控制 AI Overviews supporting links，该看什么
Google 对 AI Overviews / AI Mode 的技术边界说得很明确：页面要有资格作为 supporting link，需要已被 Google Search 索引，并且有资格在 Search 中显示 snippet。没有额外的专用技术要求。
所以你要排查的是这几个点：
- 页面是否返回
200； - 页面是否允许 Googlebot 抓取；
- 页面是否没有
noindex； - 页面是否 canonical 到正确 URL；
- 页面主体内容是否在首屏 HTML 或可渲染内容中；
- 页面是否允许显示 snippet；
- 页面是否有清晰标题、段落、表格、FAQ 和产品参数；
- 页面是否不是重复、薄内容、批量生成的空页面。
如果你给核心产品页加了 nosnippet，它可能仍被索引，但你是在限制 Search 摘要展示。对于需要 snippet 资格的 AI features supporting link 来说，这会直接改变资格边界。
noindex、nosnippet、max-snippet 要分清
下面三个标签不是一个意思。
完全不要页面进入 Search：
<meta name="robots" content="noindex">允许页面进 Search，但不允许 Google 显示摘要：
<meta name="googlebot" content="nosnippet">允许显示摘要，但限制摘要长度：
<meta name="googlebot" content="max-snippet:120">外贸站的实际用法可以这样判断：
| 目标 | 推荐控制 |
|---|---|
| 后台、客户资料、报价单 | 不公开访问；必要时加 noindex，但不要只依赖 robots.txt |
| 产品页、分类页、供应商页 | 不要加 noindex，不要误加 nosnippet |
| 公开 FAQ、案例、指南 | 保持可索引、可摘要，内容写清楚问题和答案 |
| 法务要求限制摘要 | 用 nosnippet 或 max-snippet，但接受 Search AI supporting link 资格可能受影响 |
一个细节很重要：如果你在 robots.txt 里禁止 Googlebot 抓取某个页面，Googlebot 可能看不到页面里的 noindex。所以“阻止抓取”和“阻止索引”不是同一个动作。
外贸推广页怎么写，才更适合 Search AI 理解
Google 没有要求你为 AI Overviews 写特殊格式，但这不代表页面可以继续写成“公司实力雄厚、质量可靠、服务全球”这种空话。
对外贸站来说，真正有用的页面应该回答采购问题。比如一个工业零件供应商页面，至少要写清楚：
Product: CNC machined aluminum housing
Material: 6061-T6, 7075-T6, 6082
Tolerance: +/-0.01 mm depending on structure
Surface treatment: anodizing, powder coating, sandblasting
MOQ: prototype supported; production MOQ depends on drawing
Lead time: 7-15 days for samples, 20-35 days for mass production
Export markets: United States, Germany, Australia, UAE
Quality documents: CMM report, material certificate, RoHS if required
Best-fit buyers: equipment manufacturers, robotics companies, automation integrators这类信息对传统 SEO 有帮助，对 AI Overviews / AI Mode 的 supporting link 也更友好，因为它减少了系统理解成本。它不是“AI 专用写法”，而是把采购者真正关心的信息写完整。
一个实用配置判断法
你可以把每个页面问一遍：
- 这个页面是拿来获客的吗？
- 买家会不会用 Google 搜到它？
- 页面摘要展示是否会帮助买家判断？
- 页面内容是否可以公开？
- 页面有没有敏感客户信息？
- 页面是否需要进入 Google Search？
- 页面是否需要被 Google-Extended 排除？
如果答案是“公开获客页”，通常应该优先保证：
Googlebot: Allow
Indexing: Allow
Snippet: Allow
Google-Extended: 单独按公司内容使用策略决定如果答案是“客户资料或内部系统”，通常应该优先保证：
Public access: Block or require login
Indexing: noindex where crawler can access
Robots.txt: 可辅助管理抓取流量
Snippet: 不应出现不要用一条 Disallow: / 解决所有焦虑。对外贸站来说，爬虫准入是业务分层，不是情绪开关。
参考资料
- AI features and your website | Google Search Central
- Optimizing your website for generative AI features on Google Search | Google Search Central
- List of Google’s common crawlers | Google Developers
- Introduction to robots.txt | Google Search Central
- Block Search indexing with noindex | Google Search Central
- Robots meta tag, data-nosnippet, and X-Robots-Tag specifications | Google Search Central