Skip to content

第 5 课

检查语料库

语料库,就是一份明确列出来的本地成员清单。不扫描目录、不跟踪 URL、 不读标准输入、不自动发现文件、不改任何东西。规范文件里写清楚了: 哪些来源、哪些已验证的批准修订版,属于这次检查。

学完这一课

你要搞懂:语料库检查把问题从"一个文档怎么了"升级到"这些文档之间有 什么规律"、为什么成员得是明确列出来的、以及怎么读完整/部分结果 ——而不是把它当隐藏的质量打分。

从一个文档,到多个文档的模式

文档准备问的是"这个文档发生了什么?"语料库检查问的是"在这份明确 列出的成员集合里,能看到什么规律?"答案是汇总报告,不是对单个文档 记录的替代。

语料库检查聚合的是不含原文的证据。静态报告可以按类别、格式、规则、 严重程度来汇总:成员状态、提取差异、发现项、修订版历史。它帮你问 这类问题:

  • 哪些文档格式出现了某个条件?
  • 哪些提取器之间差异最频繁?
  • 哪些已批准修订版在里面?
  • 检查是完整、部分还是失败?

报告不会复制修订中的决策权,也不会塞进原文片段或推荐修改。

成员清单为什么必须明确

明确的语料库规范,逐个列出成员及其本地来源。这样集合本身也变得可查 ——谁在里面、谁不在,一眼就知道。之后同一个目录里多出什么文件, 不会悄悄混进来。

修订版也遵循同样的原则。语料库里列的某个修订版,只有它关联的修订、 诊断和基础证据一起验证通过,才能被纳入。被拒绝的修订是有用的决策 证据,但它不是已准备修订版,不能当修订版放进去。

完整和部分,各是什么意思

项目里固定的语料库示例包含 PDF 成员。要完整运行,得有本地 Docling 模型。没模型的时候,非 PDF 成员仍然可以产出有效的 PARTIAL 语料库记录——意思是报告诚实地描述了一个不完整的已声明集合。

列出的修订版无效就不同了:直接停止发布,不会降级成部分结果, 因为请求的证据关系本身靠不住。两种情况要分清:

结果含义
COMPLETE所有已声明成员都得到了可用结果。
PARTIAL报告既记录了可用成员,也记录了成员级别的失败。
发布失败请求的输入或证据关系本身无效。

这些状态都不说明语料库"好不好"、适不适合下游任务。它们只描述 这次检查能确定到什么程度。

用命令行和工作台一起练

先下载本地 Docling 模型,再检查质量语料库:

bash
docling-tools models download layout tableformer \
  --output-dir .cache/docling/models
corpus inspect fixtures/corpus/quality-corpus.json \
  --docling-artifacts .cache/docling/models

工作台保持打开,点刷新工作区。刷新会发现命令行在工作台启动之后 发布的记录,不会重新跑观察、诊断或语料库检查。

在语料库列表里选刚才发布的语料库。中央区域看总量和成员证据, 检查器看摘要、证据和产物。语料库视图没有文档阶段导航器——因为它 回答的是多个成员的问题,不是一个文档的生命周期。

记住

语料库检查让已声明的集合变得可查。它汇总的是已有证据,不会去发现 集合、修改成员,也不会替代单个文档的证据。

下一课:演练完整生命周期