一句话总结
用 Screaming Frog 找出网站在抓取、索引、内链、内容和体验上的问题，形成有 URL 证据的修复工单，再通过复抓与搜索数据验证；24 版让变更对比、报告分发和 AI 辅助分析更容易持续执行。
适合谁： 已有网站、准备上线或改版的站长，以及负责 SEO、内容、开发和网站运营的团队。
建议先读： GSC 信号解读与网站健康诊断。
阅读方式： 先看能力地图；首次使用按基线流程操作；已有抓取结果直接进入对应行动卡。文中的优先级、排期、样本量和工单规范是本站建议，不是软件默认规则或搜索引擎标准。
范围说明： 本文以官方 2026 年 5 月 19 日发布的 SEO Spider 24.0 更新为起点，结合常规功能编成操作指南。这里没有对某个网站进行实际审计，也不把 24 版称为永久的“最新版”。菜单名称使用英文，实际界面随语言与版本可能变化。
本文导读
- 能力地图与 24 版新增功能：明确工具能做什么。
- 基线与优先级：第一次抓取应该如何设置、先修什么。
- 十二张行动卡：按问题类型查入口、做修复、留验收证据。
- 日常巡检、第一周排期与工单：把检查变成持续执行的流程。
核心要点
- 先保住重要页面。 优先解决关键页面无法访问、误设 noindex、错误 canonical、内容渲染缺失，再优化标题、内链和体验。
- 导出问题，也导出来源。 一个 404 地址不够；开发还需要知道从哪一页、哪个组件链接过去。
- 以页面意图作判断。 重复标题、短正文、多个 H1 等提示都需要结合页面用途复核，不能看到警告就批量删除或改写。
- 用相同口径复抓。 修复前后的域名范围、入口、渲染方式和配置一致，差异才有解释价值。
- 分别验收技术结果与业务结果。 复抓证明修复是否生效；GSC 与站内分析再回答收录、点击和有效转化是否改善。
1. Screaming Frog 可以做什么，能优化什么？
它的核心角色是网站爬虫与诊断工具：抓取 URL、提取页面信号、关联数据并输出证据。修改仍需落实到 CMS、前端模板、服务器或内容中；它不会自动替网站完成全部优化。官方功能概览
| 工作方向 | 可以发现什么 | 可以落实的优化 | 验收依据 |
|---|---|---|---|
| 抓取与访问 | 4xx、5xx、无响应、异常重定向 | 修复入口、服务器错误、重定向链 | 重要 URL 与内链目标按预期响应 |
| 索引与规范化 | robots 限制、noindex、canonical 冲突 | 纠正误拦截，统一规范 URL | 抓取信号一致；GSC 另验实际索引 |
| 站内链接 | 孤儿页、过深路径、不可抓取写法、空泛锚文本 | 补上下文内链，改成标准链接，调整导航 | 从入口可发现重要页，链接目标正确 |
| 页面标题与摘要 | 缺失、重复、过长或无区分的 Title/Description/H1 | 修复模板、对齐查询意图与页面主题 | 新标签生效；再分组观察 CTR |
| 内容治理 | 完全重复、近似内容、待复核的低内容页面 | 合并、差异化补充、更新过期信息 | 保留页有明确价值，迁移和内链正确 |
| Sitemap | 地图中的失效/非规范 URL、遗漏与孤儿 URL | 清理地图，补重要规范页 | 地图与可索引 URL 清单一致 |
| JavaScript SEO | 原始 HTML 与渲染后内容/链接的差异 | 修复渲染与资源加载，改善内容输出 | 正文、链接与关键标签可被读取 |
| 图片与性能 | 大图、图片错误、alt 问题；PSI 性能诊断 | 图片尺寸与压缩、加载顺序、脚本与缓存 | 资源正确、性能诊断改善 |
| 结构化数据 | 缺失、解析或验证错误 | 按页面事实完善适用的标记 | 验证通过，内容与标记一致 |
| 多语言 | hreflang 代码、回链、目标页异常 | 修正语言版本之间的对应关系 | 正确互引且与 canonical 一致 |
| 改版与迁移 | 新旧 URL、模板和页面信号的变化 | 迁移映射、重定向、上线回归修复 | 旧 URL 去向正确，关键内容无意外丢失 |
| 持续运营 | 两次抓取间新增、消失、恶化或修复的问题 | 定期巡检、责任分配、发布后复查 | 变化有解释，工单有关闭证据 |
这张表是工作范围地图，具体入口与来源见后面的行动卡。
2. 24 版新增了什么？怎么用在日常工作里？
24.0 的六个重点是：MCP、自动抓取对比、通知邮件展示变化、邮件附带导出、不可抓取内链检查、使用统计。此外有无效链接识别、跳过空报告、Ahrefs 国家维度与 AI 配置改进。24.0 官方更新说明
| 新能力 | 建议采用的工作方式 |
|---|---|
| SEO Spider MCP | 让 AI 读取抓取结果，按模板归类问题、合并证据、起草工单；人工确认优先级 |
| Auto Compare Crawls | 同一项目定期抓取，自动比较最近两次结果，发现上线引入的问题 |
| 通知中的变化与导出附件 | 给负责人提供可定位的变化摘要和 URL 清单，减少手工整理 |
| 不可抓取内链检查 | 复核导航、卡片和分页中的非标准跳转；优先修复通往重要页面的入口 |
| 无效链接识别与跳过空报告 | 检查拼错的协议或地址；减少没有数据的输出 |
| Usage Stats | 了解工具使用情况；不把它当 SEO 成效指标 |
不要混淆版本： 断链、Title、canonical、JavaScript 渲染、GSC、近似内容等属于已有功能；24 版增强了把检查持续做下去的流程。下文的工作顺序是本站根据这些能力编排的行动建议。
3. 开始前：先建立一份可信的抓取基线
3.1 准备工具与数据
免费版可抓取最多 500 个 URL，这个限制不等于“500 篇文章”；抓取范围中的资源等 URL 也会占用额度。保存抓取、计划任务、JavaScript 渲染、抓取对比及多种集成属于付费功能。API 权限、配额及 AI 调用费用另行核对，不包含在“已购买爬虫”这个事实中。免费与付费功能对照
先准备五样东西：正式域名、重要页面清单、Sitemap 地址、页面类型划分，以及可用的 GSC/GA4 权限。没有分析权限也可以先做技术检查，相关数据记为“未获取”，不能填成 0。
3.2 首次抓取步骤
- 明确范围。 记录生产域名、是否包含子域和语言目录、抓取入口、日期与软件版本。排除后台、退出登录、购物车操作及无穷组合的参数路径；按服务器承受能力设置速度。
- 先抽查代表页。 首页、分类、详情、文章各挑一页，确认内容和导航是否依赖 JavaScript。需要时在
Config > Spider > Rendering使用 JavaScript 模式，并检查渲染结果。JavaScript 抓取教程 - 启用需要的数据。 基础抓取保留状态码、链接、标题、指令与 canonical；需要地图对账时启用
Crawl Linked XML Sitemaps；需要近似内容分析时启用Config > Content > Duplicates中的相关选项。未启用的检查不能报告为“没有问题”。 - 运行抓取与分析。 从首页启动 Spider 模式；待抓取结束后执行
Crawl Analysis，确认需要的分析项完成。孤儿页、近似内容等依赖额外数据或后处理。孤儿页教程 - 记录覆盖程度。 比较爬到的页面、地图 URL 和重要页面清单；说明是否触达限制、是否有超时/403、分析是否完成。抓取中途停止的结果属于部分样本。
- 保存基线。 有许可时保存抓取与配置；导出 URL 清单、问题总览和关键问题的来源链接。文件名保留站点、时间、配置版本；后续每次使用同一口径。
建议按“产品/服务、分类、文章、语言版本”等模板看问题。某一模板的 canonical 错误可能影响整组页面，优先修模板通常比逐页编辑有效。
4. 优先级：先修什么，后修什么？
以下为建议分级，不等同软件的 Issue Priority。先人工复核事实，再看受影响页面的业务价值、覆盖范围和修复成本。
| 等级 | 判断方法 | 典型问题 | 建议处理 |
|---|---|---|---|
| P0 | 核心页面或整类页面失去访问/被错误排除 | 主服务页持续 5xx；模板误加 noindex；全站 canonical 指向首页 | 立即定位根因，修复或回滚后复抓 |
| P1 | 重要页面的发现、规范化或内容理解受阻 | 关键入口断链；重要孤儿页；JS 未输出正文；迁移去向错误 | 进入本轮迭代，按模板处理 |
| P2 | 有改善空间但未确认阻断 | 标题区分不足、图片过大、适用 Schema 缺字段、部分内链过深 | 按业务影响排序，分批验证 |
| P3 | 观察项或有意设计 | 低价值历史页下架 404、合理 noindex、合法的相似产品页 | 记录理由与例外，避免反复误报 |
判断示例： 没有站内引用、已永久下架且无替代内容的历史页返回 404，可以是正确行为；高流量产品页被菜单指向一个 404，则通常应优先处理。不能按“404 总数”一刀切。
5. 十二张可直接执行的行动卡
01｜修复断链、服务器错误与重定向链
入口： Response Codes 中的 4xx、5xx、3xx、No Response；选中 URL 查看底部 Inlinks，导出问题 URL 与来源页。24 版可启用 Config > Spider > Crawl > Crawl Invalid Links 补查语法无效链接。断链教程
动作： 恢复误删页面；把站内链接改到正确的最终 URL；对有明确替代内容的永久迁移设置合适的永久重定向。无替代价值的下架页可以保留 404/410，同时清理失效内链与 Sitemap。遇到 403、429、超时，先区分权限、防护和限速，不直接认定页面已删除。
交付与验收： “来源页 → 错误地址 → 修复后的目标 → 责任模板”清单；复抓来源页和目标页，确认无环路，目标状态正确。不要把所有失效页都重定向到首页。
02｜纠正收录障碍与 canonical 冲突
入口： Directives、Canonicals、Internal 中的 Indexability/Indexability Status；连接 GSC 后，在 URL Inspection 配置中启用检查，查看 Indexable URL Not Indexed。GSC 检查入口
动作： 给每类页面明确“应索引/不应索引”；解除重要页的误设限制，修复 canonical 指向错误、失效或不相关页面的问题；让站内链接和地图支持同一个规范 URL。canonical 是规范化信号，Google 仍可能选择不同版本。Google canonical 指南
交付与验收： 重要页返回预期状态、允许抓取、没有意外 noindex，canonical 与页面策略一致；再用 GSC 核对 Google 所选规范页与索引记录。工具的 Indexable 不等于已收录；没有曝光也不等于未收录。 URL Inspection 的索引数据不是实时抓取测试，也不等于提交了收录请求。URL Inspection 教程
有意使用 noindex 的页面必须允许 Google 抓取，Google 才能读取该指令；robots.txt 阻止抓取不能代替移出索引。Google noindex 指南
03｜修复 24 版发现的不可抓取内链
入口： 确认 Config > Spider > Crawl 中相关 Store 选项启用，检查 Links > Pages With Uncrawlable Internal Outlinks；在底部 Outlinks 查看 Link Crawlability，用同名 Bulk Export 导出详情。不可抓取内链说明
动作： 区分“导航到页面”和“执行按钮操作”。通往产品、文章或下一页的导航，应输出带真实 URL 的 <a href>；弹窗、提交等操作继续使用适当的按钮。
<!-- 导航到一个可独立访问的页面 -->
<a href="/products/pump-a/">查看 Pump A 产品参数</a>交付与验收： 记录来源 URL、组件和目标 URL；检查最终 DOM 中存在真实 href，且爬虫能发现目标页。Google 对非标准链接可能尝试解析，不能把工具的标记直接解释为“Google 绝对不可能访问”。Google 链接规范
04｜补上重要孤儿页与薄弱内链
入口： 将 Sitemap、GSC、GA4 可用的 URL 数据接入抓取，运行 Crawl Analysis，查看相应的 Orphan URLs；结合 Crawl Depth、Inlinks 和站点结构判断路径。孤儿页查找教程
动作： 先确认页面是否值得保留；给重要页增加来自相关分类、主题页或文章正文的入口，使用能描述目标内容的锚文本。仅从首页抓取无法证明不存在孤儿页；多个孤儿页也可能互相链接，因此“有入链”不必然代表从首页可达。
交付与验收： “新增来源页 → 目标页 → 锚文本 → 添加位置”表；用正常入口复抓，重要页能在预期路径中被发现。路径深度按站点规模判断，不设统一的“三次点击排名门槛”。
05｜优化 Title、Description 与 H1
入口： Page Titles、Meta Description、H1，筛选缺失与重复；结合 GSC 的着陆页曝光、点击和查询数据选首批页面。官方功能概览
动作： 先修模板批量漏写或内容完全相同的问题；再让重要页标题准确表达产品/任务及区别，摘要说明用户能获得什么，H1 与正文主题对应。避免为凑字数堆关键词；标题字符/像素提示用于检查展示，不是排名合格线，多个 H1 也不自动构成处罚。
交付与验收： URL、旧文案、新文案、目标查询意图；检查真实 HTML 输出，确认模板没有覆盖修改。CTR 观察需固定市场、设备、查询类型，并结合排名和搜索结果样式变化，不能把任何增长都归因于标题。
06｜治理重复、相似与低价值内容
入口： Content > Exact Duplicates / Near Duplicates；近似检查需先启用并运行 Crawl Analysis。检查内容区域设置，避免导航、页脚等公共区块淹没正文差异。重复内容教程
动作： 同一内容的多个 URL 按用途统一规范版本；真正重复且无独立价值的页面评估合并；服务不同意图的相似页补足独有规格、适用人群、案例或使用条件。低字数只是排查线索，计算器、工具页与产品页不需要机械扩写成博客。
交付与验收： 每组页面记录“保留、补充、合并或下架”的理由及目标 URL；复抓重定向、canonical、内链和地图。相似度不等于关键词互相竞争，重复内容也不自动等于处罚；决策还需查询、搜索意图与页面表现证据。
07｜清理 Sitemap，并检查重要页面是否遗漏
入口： 在整站抓取中启用地图抓取，查看 Sitemaps；也可以在 List 模式单独检查地图中的 URL。整站对账更适合发现地图遗漏和孤儿 URL。Sitemap 审计教程
动作： 地图优先包含希望收录的规范 URL，移除失效、重定向及有意 noindex 的地址；把遗漏的重要页面纳入 CMS 的自动生成规则。持续变化的网站优先修生成逻辑，避免手工导出的地图很快过期。
交付与验收： “应保留/应移除/应新增”清单；地图能正常访问并解析，URL 与页面策略一致。提交地图仅帮助发现，不是保证收录；也不能替代站内链接。
08｜检查 JavaScript 内容与导航是否真的可见
入口： Config > Spider > Rendering > JavaScript；检查原始/渲染后 HTML、Rendered Page 和 JavaScript 相关报告。JavaScript SEO 教程
动作： 对同一代表页比较正文、导航、Title、canonical 与资源加载；发现差异后交由开发定位资源阻断、请求错误、等待时机或渲染逻辑。重要内容尽可能稳定输出，避免只有点击、登录或特定浏览器状态才能出现。
交付与验收： 保留具体 URL、缺失字段及前后证据；修复后爬虫可读取内容，再用 GSC 实时测试抽样核对。更换 User-Agent 只能辅助诊断，不代表真实 Googlebot 抓取；Screaming Frog 的渲染结果也不完全等同 Google。
09｜优化图片、速度与页面体验
入口： Images 排查错误图片、大体积资源与 alt；通过 PageSpeed Insights 集成查看 PageSpeed 的指标和诊断。CWV 审计教程
动作： 优先处理重要着陆页的首屏图片、阻塞资源、过量 JavaScript 和布局跳动；按用途设置尺寸与压缩策略，首屏关键图避免不恰当的懒加载。信息图写有意义的替代文本，纯装饰图允许空 alt，不能给每张图硬塞关键词。
交付与验收： 每个模板列出主要瓶颈、责任组件与前后测量。区分 Lighthouse 实验室数据和 CrUX 真实用户数据；真实用户的良好阈值为第 75 百分位 LCP ≤ 2.5 秒、INP ≤ 200 毫秒、CLS ≤ 0.1。没有 CrUX 数据应标为样本不足；实验室 TBT 不能直接当成真实 INP。Web Vitals 阈值说明
10｜验证结构化数据与多语言配置
结构化数据入口： Config > Spider > Extraction 启用所需格式及验证，再查看 Structured Data。按真实页面内容修复语法、类型与必要字段，不为“消灭 Missing”给所有页面套相同模板。提取与验证配置
多语言入口： Hreflang；确保抓取与保存相关标记，需要时包含外部语言站点。修复语言/地区代码、缺失回链和非 200 目标；canonical 与语言版本策略保持一致。hreflang 教程
交付与验收： 每种模板抽样验证，再查全站同类问题；hreflang 指向真实、对应的语言页面。结构化数据通过验证不保证展示富结果；以 Google 当前支持的类型为准，不能沿用旧教程对 FAQ 或 HowTo 展示的承诺。Google 结构化数据政策
11｜给改版和迁移做上线验收
入口： 上线前保留旧站抓取；测试站与生产站分别抓取，通过 Mode > Compare 和 URL Mapping 处理域名/路径对应；旧 URL 清单可用 List 模式复查。迁移教程
动作： 检查重要 URL 是否有合理新去向，Title/H1/正文是否意外丢失，测试环境 noindex 是否带入生产，canonical、hreflang 和内链是否仍指向旧域名。
交付与验收： 迁移映射表、关键页回归结果和例外清单；旧地址到正确新页面，地图只列预期规范地址。结构发生变化时，“少了多少页”不能单独判定成功或失败，需解释每个重要页面的去向。
12｜用 GSC、GA4 与自定义提取找下一轮机会
入口： 将 GSC/GA4 数据与抓取 URL 对齐；需要页面特有字段时，用 Custom Search / Custom Extraction 提取作者、日期、价格、规格、CTA 或旧品牌文案。自定义提取教程
动作： 优先复核“有曝光但标题与意图不匹配”“重要且有点击但技术异常”“已更新仍输出旧信息”的页面。转化数据需先核对事件定义；按钮点击不能直接当有效询盘。向工具提供的日期窗口、域名、渠道和设备口径必须一致。
交付与验收： 每个机会保留 URL、原始字段、数据窗口、假设、改动与复测日期。爬虫不能独立提供完整关键词市场、外链数据库或 AI 平台引用率；这些需要额外数据源与专门测量。
6. 把 24 版用成日常巡检流程
6.1 每周巡检的最小配置
- 在计划任务中使用固定配置与同一项目，启用 Auto Compare Crawls；至少完成两次可比较抓取后才有差异基线。
- 选需要的导出：问题总览、关键状态码及来源链接、索引指令、canonical、重要页变化。只保留有人负责处理的报告。
- 在通知配置中设置发送账户和收件人，选择附件；需要时启用跳过空报告。首次手工运行验证附件、送达、大小限制及失败提示。
- 每次先核对抓取是否完整，再看新增/已解决问题。URL 减少也可能是抓取失败或配置变化，不能直接写成“已优化”。
- 发布后额外抓一次；定期全站抓取之外，可对重点清单做快速复查。计划执行的机器须能在任务时间正常运行。
自动比较能力及配置详见抓取对比教程；通知与附件详见邮件配置教程。这里描述的是可选工作流，本文没有替任何站点开启通知或发送邮件。
人工告警建议： 关键页新增 noindex/5xx/错误 canonical 当日核查；模板批量丢失标题或内链进入紧急复核；普通缺失摘要纳入周迭代。不要假定软件内置了本文这套业务分级规则。
6.2 AI 与 MCP：让报告更快变成工单
MCP 让 AI 客户端调用抓取与导出数据；工具内 AI 集成则是对页面数据运行提示词等任务，两者不是同一项功能。官方 MCP 要求付费许可及数据库存储模式，具体客户端、运行方式与所需权限按官方配置执行；并非桌面界面的所有功能都可通过 MCP 调用。MCP 配置文档
建议先拿一批已经保存的抓取结果验证输出质量，再扩大数据量。页面内容若交给外部 AI，需要确认该数据允许发送；脚本和文件操作仅开放本次任务所需范围。AI 可以起草诊断，不应凭相似度批量删页、改 canonical 或发布文案。
下面是本站编写的可复用提示词，可给已连接 MCP 的助手，也可配合导出的 CSV 使用：
基于这份抓取结果和重要页面清单，生成 SEO 修复工单。
先报告抓取日期、域名范围、渲染方式、完成情况及缺失数据。
按模板合并同一根因，每项必须包含：
问题、受影响 URL 数、代表 URL、来源页、证据字段、
业务影响、修复动作、负责人角色、验收方法。
区分已证实问题、待核实假设和有意保留的例外。
优先检查重要页面的访问、索引指令、canonical 和内链。
没有的数据写“未获取”，不推断收录、排名或流量增长。
只生成工单草稿，网站修改另行执行和复核。7. 第一周照着做，后续按节奏复盘
下面是一份建议排期。小站可以合并，大站按目录或模板拆批；七天不是保证修完所有问题的期限。
| 时间 | 执行动作 | 主要责任 | 交付物 |
|---|---|---|---|
| 第 1 天 | 定范围、重要页面、渲染方式与数据窗口；跑基线 | SEO + 开发 | 配置、覆盖说明、基线导出 |
| 第 2 天 | 人工复核 P0/P1，按模板合并根因 | SEO + 业务 | 已排序工单与代表 URL |
| 第 3–4 天 | 修访问、索引、canonical、内链与渲染问题 | 开发 | 可验证的修复及发布记录 |
| 第 5 天 | 首批重要页标题、内容差异与图片优化 | 内容 + 开发 | 页面改动表及依据 |
| 第 6 天 | 同口径复抓，检查已解决项和新增回归 | SEO | 前后对比与关闭证据 |
| 第 7 天 | 配好定期巡检，建立 GSC/转化观察表 | SEO + 运营 | 巡检排期与下一轮清单 |
建议发布后做技术复查，每周处理新增问题，每月复盘搜索与转化。搜索成效可先按完整的 28 天窗口比较，并考虑同比、季节性和数据延迟；新站或小样本站延长观察，不机械下结论。
可直接复制的工单模板
| 字段 | 要填什么 |
|---|---|
| 问题与级别 | 具体错误 + P0/P1/P2/P3 + 判定理由 |
| 证据 | 抓取日期、配置、字段、代表 URL、来源页 |
| 范围 | 受影响 URL 数、页面模板、重要页面占比 |
| 修复 | 改哪一处、预期输出、需要保留的例外 |
| 责任与时间 | 负责人、计划日期、实际发布日期 |
| 技术验收 | 复抓时间、前后字段、通过/未通过 |
| 成效观察 | GSC 窗口、目标查询/页面、点击和有效转化 |
教学示例（非实测）： 产品卡片通往详情页的跳转没有真实 href。工单应定位卡片模板，要求输出标准链接并复抓来源页；关闭条件是链接与目标页验证通过。是否带来新增收录和点击，另记在成效观察栏。
8. 行动清单与常见误区
- 确定重要页面和“应索引/不应索引”策略。
- 记录版本、抓取范围、渲染方式、配置及覆盖限制。
- 检查 4xx/5xx、noindex、canonical 和真实内链入口。
- 把 Sitemap/GSC 等可用 URL 来源纳入孤儿页排查。
- 对重复内容、标题警告和低字数页面人工复核。
- 每张工单都有具体 URL、来源/字段、负责人和验收方法。
- 修复后同口径复抓，解释新增、消失和未解决问题。
- 将技术修复、实际收录、搜索点击、有效转化分开记录。
- 建立定期对比；启用通知时实际验证一次送达与附件。
常见误区是“抓完就算做完 SEO”“全部警告必须归零”“Indexable 就是已收录”“AI 报告可以直接执行”“修复后一周没有流量就是无效”。正确做法是保留证据、按业务价值决策、验证修复，再观察足够的数据。
See Also
资料来源与使用边界
本文基于正文链接的 Screaming Frog、Google Search Central 与 web.dev 官方资料编写，核对日期为 2026-10-20。24 版更新摘要来自指定发布文章；操作入口由官方教程补充；优先级、排期、工单与提示词为本站整理建议。文中的教学示例没有使用客户数据，也不代表对任何站点的诊断结论。
资料来源与更新记录
来源： Screaming Frog, 19 May, 2026；Screaming Frog 官方教程；Google Search Central；web.dev（正文逐项链接） 最后更新： 2026-10-20 原始资料： Screaming Frog 与 Google 官方参考资料