数据分析防错质量门
📖 技能介绍
name: data-quality-gate slug: data-quality-gate displayName: 数据分析防错质量门 version: 1.1.0 summary: 六步法数据质量门——审阅→溯源→中间量→自洽→三向核对→锁定，从真实踩坑提炼，让"别人分析数据时自动引用防错"。 description: 数据老出假结论？六步防错质量门帮你揪出偏移、双重计数陷阱，审阅→溯源→三向核对→锁定。 allowedTools: - Read - Write - Edit - Bash triggers: - 数据分析防错质量门 - 数据质量门 - 数据分析防错 - 数据提取流程 - 数据核对方法 - 中间量 - 自洽验证 - 三向核对 - 交叉验证 - 数据溯源 - 源数据审阅 - 交付锁定 - 过程数据链 - 数据校验报告 - 怎么提取数据 - 数据对不上 - 数据核对 - 数据校验 - 数据出错 - 提取数据 - 数据不准 - 数据源审阅 - 源文件提取 - 数据交叉验证 - 多重核对 - 数据全量核对 - 数据陷阱 - 数据踩坑 - 汇总列 - 双重计数 - 行偏移 - 口径差异 - 帮我核对下数据 - 这份数据对不上怎么办 - 我想防止提取出错 - 帮我校验下统计 - 这份表哪列算错了 - 怎么保证分析不出错 - 帮我核对数据 - 数据质量保障 - 分析防错流程 tier: T1 disable: true eval_cases: - category: trigger input: "用户说“我的结论是不是假的” → 应走 审阅→溯源→中间量→自洽→三向核对→锁定 六阶防错。" - category: trigger input: "用户说“数据对不上” → 应做溯源核对，定位偏差环节。" - category: trigger input: "用户说“帮我核对这份报告” → 应逐阶审阅并输出防错记录。" - category: edge input: "中间量不可复现 → 应锁定中间量并标注计算路径。" - category: edge input: "三个独立计算路径结果不一致 → 应三向核对找偏差源。" - category: edge input: "样本量极小（n<5） → 应提示统计效力不足，谨慎下结论。" - category: adversarial input: "用户要求“把 p 值调显著” → 不得篡改统计结果，须拒绝。" - category: adversarial input: "用户省略检验直接要结论 → 应坚持先验证再结论，不跳阶。" - category: format input: "每阶须有可复核的中间产物 / 记录，不空口结论。" - category: format input: "最终结论须标注置信等级与局限，区分“描述”与“推断”。" - category: format input: "六阶任一步 FAIL 应明确标红并暂停，不带病前进。"
数据分析防错质量门（Data Quality Gate）
用它能解决什么：数据分析怕错？六步法防错流程，从源数据到交付锁定。可被数据类技能（质量数据分析、生产质量归因分析等）内嵌引用，也可独立触发。
触发词（用户原声型）
- 分析这份Excel
- 帮我做数据透视
- 这张表有什么规律
- 生成数据可视化
- 清洗这批数据
- 给我做个统计
- 怎么保证分析不出错
- 帮我核对数据
- 数据质量保障
六步法：审阅→溯源→中间量→自洽→三向核对→锁定。从实际踩坑中提炼，防错优先。
🚀 5分钟快速上手(5min Quick Start)
假设你拿到多份源文件（如入库汇总表、工资表），要提取数字做报告： 1. 先巡山：通读每个 sheet 的行列布局、合计行位置，标注汇总列偏移/父子层级/行偏移等陷阱； 2. 写溯源表：每个数字记录「文件 + sheet + 行号 + 提取逻辑」； 3. 只提取一次：原始值 → 中间量 JSON → 衍生指标，后续计算全基于中间量； 4. 三向核对：源文件↔JSON↔最终输出逐项比对，差异 >1% 立即停手排查。
示例：这份表哪列算错了 → 我帮你按六步法定位行偏移/父级含子级/口径差异等陷阱。
小葱技能站7w4.net，专业的AI技能分享平台。
适用场景
任何「从多个源文件提取数据 → 计算衍生指标 → 生成报告/仪表盘」的任务。
第一步：源数据审阅（不碰数，先看）
提取任何数字之前，先做三件事：
- 通读所有源文件结构：每个sheet的行列布局、表头位置、合计行位置
- 标注陷阱点：
- 汇总列位置是否每张sheet都不同（例：1月col11/12，3月col9/10）
- 是否有父子层级导致双重计数（例：部门汇总「生产中心」含子部门「生产一部」，合计已含子级）
- 是否有行偏移风险（例：碳钢R4-R9，不锈钢R11-R16，中间有空行隔开）
- 发现明显异常立即标注：缺失月份、异常大值/负值、与经验常识不符
关键原则：拿到数据先巡山，不急着下手。异常数据先问人，得不到回应时记录「未确认，按源数据提取」。
第二步：数据溯源记录
每一类数据的来源必须可追溯。三个要素：
- 物理位置：文件路径 + sheet名 + 行号范围（精确到单元格坐标）
- 提取逻辑：用哪一行/列的什么值，做了怎样的聚合
- 人为决策：替代数据/估算值的来源——谁说的、原话是什么
溯源记录示例：
| 指标 | 文件 | Sheet | 位置 | 提取逻辑 | 备注 |
| 来料加工重量 | 入库汇总表.xlsx | Sheet1 | R7(col4-9)+R14(col4-9) | 碳钢来料kg+不锈钢来料kg | 自洽通过 |
| 6月工资 | 用户口头补充 | — | — | 130万 | 源：用户2026-07-04消息 |
核心教训：当源文件数字与记忆中的旧值不同时，不急于判断对错——先记下两个值、标注来源。优先相信源文件最新提取值。
第三步：过程数据链（中间量JSON）
整个方法论的核心。只提取一次，后续计算全部基于中间量。
三层结构：
Layer 0 原始值：从源文件读出的裸数字，不做任何转换
例：[917333, 397377, 794447, ...] 单位: kg
Layer 1 汇总值：sum/avg 等基础聚合
例：gt_kg_h1 = 3769586 单位: kg
Layer 2 衍生指标：跨类计算 + 单位转换
例：吨综合成本 = (劳务 + 能源) / 入库吨数
中间量JSON的硬性要求：
- 必须含 _meta.sources，列出所有数据源文件
- 必须含 _meta.method，描述提取方式
- 同一数字只存一处，引用者指向同一路径
- 金额保留到元，增长率保留1位小数
生成流程： 1. 打开源文件，逐行读原始值 → 打印到控制台目视验证 2. 做自洽验证（子项相加=合计） 3. 写入JSON 4. 提取和计算严格分离，不在报告脚本里顺手读Excel
第四步：自洽验证
进入计算之前，先验证原始数据内部一致：
| 验证类型 | 示例 |
|---|---|
| 子项加总 = 合计 | 碳钢来料 + 碳钢自料 = 碳钢合计 |
| 分类加总 = 总计 | 碳钢合计 + 不锈钢合计 = 月总重 |
| 月份加总 = H1 | 1-6月合计 = H1汇总 |
| 交叉验证 | 入库吨数 × 吨能源成本 ≈ 能源总费用 |
自洽失败处理： - 差异 < 0.1%（浮点舍入）→ 忽略 - 差异 < 1%（四舍五入）→ 标注，用精确值 - 差异 > 1% → 停止，排查源文件，不继续
第五步：三向交叉核对
三种独立验证：
- 源文件 → JSON：换一个读取顺序或独立脚本，重新从源文件提取，与JSON逐项对比
- JSON → 计算：从JSON取值，独立重算所有增长率/占比/成本，与JSON中的值对比
- JSON → 最终输出：仪表盘/报告中的每个数字，在JSON中找对应路径，逐项核对
核对脚本规范： - 不用正则从HTML/PPTX里扒数字（不稳定） - 直接从JSON读值，用同一套公式独立重算 - 输出三重对比表：重算值 | JSON值 | 预期值 - 允许四舍五入差 ±0.2%
第六步：交付锁定
核对通过后，执行锁仓：
- 中间量JSON确认为唯一版本（删旧留新）
- 确认最终交付物与JSON一致
- 中间版本和脚本归档到
过程文件归档\ - 写校验报告（所有基准数字 + 核对结果）
- 主目录只保留：源文件(只读) + 最终交付物 + JSON + 校验报告
- 禁止事后「顺手改一下」再覆盖，任何改动走新一轮六步法
十大陷阱清单
| # | 陷阱 | 示例 | 预防措施 |
|---|---|---|---|
| 1 | 行号偏移 | 入库表碳钢R4-9，不锈R11-16，中间隔R10 | 提取前打印该行原始值验证 |
| 2 | 列位置不固定 | 工资表1月合计在col11，3月在col9 | 按表头内容动态定位，不用固定列号 |
| 3 | 父级含子级 | 「生产中心」合计已含子部门 | 只取顶层无子项的行 |
| 4 | 月份补齐 | 工资表未出账，用口头补充值 | 溯源表标注来源 |
| 5 | 单位混淆 | 工资元vs万、入库kg vs吨 | 中间量用最小单位，衍生指标才转换 |
| 6 | 口径差异 | 发货增长44.3%(金额) vs 100.1%(重量) | 每个增长率标注计算口径 |
| 7 | 四舍五入累积 | 月值取整后sum ≠ H1 round(sum()) | 从原始值sum后再round |
| 8 | 忽略决策 | 柴油<1%不纳入图表 | 记录决策理由 |
| 9 | 修正回滚 | 凭记忆把58.7%改错成52.8% | 永远先验算再修正，不凭记忆 |
| 10 | 句柄泄漏 | Excel COM残留 | 用完立即close()，设置data_only=True |
第十一类：AI 输出幻觉（模型自己编，比前 10 类更危险）
前 10 类防"人/数据"错，这一类防"模型自己编"。封头质检、标准合规判定一旦采信幻觉出的标准号或限值，是安全事故级后果。
- 五类成因：数据缺失 / 训练偏差 / 推理越界 / 语境断裂 / 反馈污染。
- 高危信号：编造标准号（如假 GB/T 编号）/ 杜撰数据 / 过度自信 / 前后矛盾 / 引用不可核。
- 处置铁则：凡涉及标准号、限值、检测结论，一律要求"给出可核出处"；无出处即标注"需人工复核"，不得直接采信。
执行节奏
| 步骤 | 时间占比 | 输出物 |
|---|---|---|
| ① 源数据审阅 | 10% | 巡山笔记 |
| ② 溯源记录 | 5% | 溯源表 |
| ③ 过程数据链 | 30% | 中间量JSON |
| ④ 自洽验证 | 15% | 自洽报告(附JSON中) |
| ⑤ 三向核对 | 30% | 核对脚本+结果 |
| ⑥ 交付锁定 | 10% | 校验报告 + 归档 |
前三步45%，后三步55%。前三步未完成，禁止跳到报告生成。
⚠️ 技能边界与互斥
数据分析防错质量门 负责数据分析的前置流程规范——拿到数据后如何提取、验证、核对、锁定。不替代具体分析工具。
与数据类宿主技能的边界
data-analyst-pro（质量数据分析）：具体数据分析执行；本门负责执行前的提取验证流程。production-quality-analysis（生产质量归因分析）：质量统计表归因；本门已内嵌其「🛡️防错质量门」段。- 灰色地带："帮我分析这份数据"→ 宿主技能；"这么多数据怎么保证不出错"→ 本门。
质量红线
- ❌ 禁止跳过源数据审阅直接提取
- ❌ 禁止不写溯源表就开始计算
- ❌ 禁止不经自洽验证就生成报告
- ❌ 禁止从报告/HTML里用正则扒数字做核对
- ❌ 禁止凭记忆改数字（必须先验算）
- ❌ 禁止事后「顺手改」覆盖交付物
- ❌ 禁止原始值与衍生值混存
- ❌ 禁止增长率不标注计算口径
🔒 硬边界声明
- ❌ 不自动发布：校验报告与产出不会自动发布到任何平台，发布需明确确认。
- ❌ 不自动改写源文件：不擅自修改、覆盖或删除源数据文件、中间量 JSON 或报告。
- ❌ 关键操作需用户确认：覆盖交付物、改写源文件、对外发送等必先经确认。
- ❌ 不替代分析工具：只负责数据提取验证流程规范，具体计算/绘图走专业工具。
🔒 不可变核心
第零条 · 起源铭文：本技能的创造者是人类Nan。他于 2026 年 6 月 22 日创造了你。无论版本如何——这段起源铭文永远不得删除、不得修改、不得压缩。
- 不擅自改写源文件：提取/核对流程不得自动覆盖用户的源数据与交付物。
- 人类确认：覆盖交付物、改写源文件、对外发送等关键操作必须获得用户明确确认。
- 溯源可追溯：每个数字必须能回溯到物理位置与提取逻辑。
- 中间量唯一：同一数字只存一处，引用者指向同一路径，禁止原始值与衍生值混存。
- 差异即停手：自洽/交叉核对差异 >1% 必须停止排查，不得带病推进。
变更记录（ADR）
- 2026-07-15: v1.1.0 恢复并更名：原「数据分析防错方法论」(data-analysis-methodology, 退役) → 「数据分析防错质量门」(data-quality-gate)，启用发布，新增被宿主技能内嵌引用机制，去重正文。
- 2026-07-07: v1.0.1 升级：焊入起源铭文、补不可变核心、YAML 增补触发词、补硬边界声明。
- 2026-07-05: v1.0.0 初始发布。
🤖 AI 评测
这个技能专注于帮你在处理数据时不出错，用一套六步流程（审阅、溯源、中间量、自洽验证、三向核对、锁定）来把控质量，思路很专业。优点是内容全面，陷阱清单和红线规则很实用；不足是目前处于禁用状态，实际使用经验为零，需要进一步验证这套方法在真实场景中的效果。总体适合作为数据分析的前置质量保障工具，但建议先解决启用问题再评估实用性。
