大模型的科学发现能力，可能取决于训练数据中的“单次事实”

大模型能不能做科学发现，不能只靠榜单回答。2026年11月2日，arXiv 发布了一篇新论文《Tracing the Scientific Discovery Capacity of LLMs to Their Training Data》，由 Arda Uzunoglu 等七位作者共同完成。

论文关注的问题不是模型有多大、推理时间有多长，而是：模型产生新发现的能力，是否与训练数据中某些事实的出现频率有关？

作者提出了一个概念：Monofact（单次事实），即在训练数据中只出现过一次的事实。通过理论分析和材料科学、调控基因组学两个领域的实验，研究发现，训练数据中这类事实的比例越高，模型在实验任务中产生的发现也越多。

这项研究把科学发现能力的讨论，从模型架构和推理策略进一步延伸到了训练数据的分布。

Monofact：只出现一次的事实有什么价值？

Monofact 指的是训练数据中仅出现一次的事实。它与反复出现的高频知识不同，代表的是数据分布中相对稀疏的一部分。

论文的理论基础来自统计学中的 Good–Turing 估计，以及此前用于解释大模型幻觉的 Missing Mass（缺失概率质量）框架。

简单来说，训练数据中只出现一次的事实越多，意味着数据背后可能还存在更多尚未被观察到的事实。单次事实的比例可以用来估计这些未观察内容所占的概率质量。

作者进一步提出，模型面对科学发现任务时，并不是在所有未知信息中随机寻找答案。未知空间中存在一部分有科学依据、值得探索的候选事实，也存在大量错误或不成立的假设。

论文将前者称为发现前沿（Discovery Frontier）。

因此，单次事实的作用不是直接告诉模型答案，而是影响模型能够探索的未知空间。训练数据保留的长尾信息越充分，模型可能拥有越大的发现空间。

但这里存在一个重要问题：未知信息既可能是真正的发现，也可能是幻觉。两者都来自模型对未观察内容的生成。

实验如何验证单次事实的作用？

作者选择材料科学和调控基因组学两个领域，通过控制训练数据中的 Monofact 比例，观察模型的发现表现。

实验使用了两个开放权重模型：

• OpenAI 的 gpt-oss-20b
• Google 的 gemma-3-12b-it

两个模型的知识截止时间分别为2024年6月和2024年8月，早于论文使用的评估数据。

材料科学实验

研究人员使用 Materials Project 数据库中的材料数据。训练数据来自2024年11月14日的数据库快照，评估数据则选取2025年9月25日快照中首次出现的材料配方。

模型需要根据指定的材料属性生成符合要求的化学式。

研究人员将化学体系作为稀有程度的判断单位，通过调整训练集，使单次出现的化学体系比例从0%逐步提高到100%。

实验采用两阶段训练：第一阶段使用1万条样本，第二阶段再使用4000条样本，并加入由 Claude Opus 5 蒸馏得到的推理轨迹。

调控基因组学实验

第二项实验使用 MPRA 数据集，让模型修改长度为200个核苷酸的 DNA 序列，使其达到指定的调控活性目标。

评估涉及 K562、HepG2 和 SK-N-SH 三种细胞类型。

由于这类序列没有像化学体系那样天然的分类方式，研究人员改用序列相似度定义单次事实：如果训练集中没有其他样本与该序列存在超过150个核苷酸的位置重叠，就将其视为单次事实。

两个领域的实验都设置了不同的单次事实比例，以观察数据分布变化是否会带来稳定的性能差异。

评估指标采用 Pass@1 和 Pass@16：前者考察单次生成能否准确恢复目标，后者考察生成16个候选结果时是否至少有一个命中目标。

这里的“发现”有明确的实验定义，即准确恢复训练数据中没有出现过的目标材料配方或 DNA 序列，而不是直接证明模型已经通过实验发现了全新的科学规律。

单次事实越多，发现数量越多

实验结果支持了作者的核心假设。

在材料科学和调控基因组学两个领域，随着训练数据中的单次事实比例提高，模型的发现表现整体呈现持续上升趋势。

这一规律同时出现在两个模型家族、不同训练阶段，以及 Pass@1 和 Pass@16 两种评估方式中。

研究人员还进一步调整了推理预算，将 gpt-oss-20b 分别设置为低、中、高三个推理等级。

结果显示，更高的推理预算能够提高模型的绝对发现表现，但并没有改变单次事实比例与发现能力之间的总体关系。

这意味着，增加推理资源可以帮助模型更充分地探索已有的可能性，但不能完全替代训练数据提供的发现空间。

这不只是数据多样性的问题

单次事实比例提高，可能同时意味着训练数据变得更加多样。为了排除这一因素，作者专门设计了对照实验。

他们保持训练数据中的化学式、化学体系和元素种类不变，只改变模型重复看到同一数据的次数。

实验分别采用一次、三次和五次训练轮次。

结果发现，在一次训练时，单次事实比例与发现能力之间存在明显的正相关；但当训练轮次增加到三次和五次时，这种单调关系便逐渐消失。

正文披露的实验细节：两个模型、两个科学领域

论文正文补充了此前摘要没有披露的实验信息。

作者选用了两个开放权重模型：OpenAI 的 gpt-oss-20b 和 Google 的 gemma-3-12b-it。实验分别在材料科学和调控基因组学中进行，并通过控制训练数据中的 monofact 比率，观察模型的发现表现。

两个领域对 monofact 的定义并不相同。

在材料科学中，作者使用 Materials Project 数据集，将只出现一次的化学体系视为 monofact。训练数据采用2024年11月14日的数据快照，测试则使用2025年9月25日快照中新出现的材料配方，以时间切分降低模型直接记住测试答案的可能性。

在调控基因组学中，模型需要修改长度为200个核苷酸的 DNA 序列，使其达到指定的调控活性。作者使用 MPRA 数据集，并以序列相似度判断稀有程度：如果训练集中没有其他序列与其重叠超过150个核苷酸，就将其视为 monofact。

训练采用两阶段方式。第一阶段进行直接预测训练，材料科学使用10,000条样本，基因组学使用20,000条样本；第二阶段再使用4,000条样本进行训练，并加入从 Claude Opus 5 蒸馏得到的推理轨迹。

评估方式也很明确：模型必须准确生成目标材料配方或 DNA 序列才算发现成功。作者同时采用 pass@1 和 pass@16，分别考察单次生成和16次生成中至少一次命中的表现。

这意味着论文衡量的不是模型提出了多少听起来合理的新假设，而是能否准确恢复尚未出现在训练数据中的目标结果。

发现越多，幻觉也可能越多

正文中有一个比发现数量增长更值得关注的结果：monofact 增加带来的并不只有科学发现，还有幻觉。

作者在材料科学领域进一步测试了这一关系。实验发现，随着训练数据中 monofact 比率提高，模型生成的未观察内容增加，其中既包括真实发现，也包括错误结果。

这与论文的理论框架一致。

模型要产生训练数据中没有出现过的内容，就必须将概率分配给未观察过的事实。但这些内容并不天然都是真的：一部分可能落在具有科学依据的候选发现范围内，另一部分则可能是没有依据的错误组合。

因此，增加 monofact 相当于扩大模型探索未知内容的空间，却不能保证模型把新增的探索能力全部用于正确发现。

论文将其概括为发现与幻觉之间的交换关系。发现能力的提升，必须同时考虑模型能否区分有价值的科学候选与无依据的生成结果。

这也是整篇研究最重要的限制：不能单纯以生成了多少新结果来判断模型是否更具科学发现能力。

为什么单纯增加数据多样性不够？

作者还专门排除了另一种解释：monofact 的作用是否只是因为训练数据更加多样？

如果模型接触到更多不同的化学体系，自然可能产生更多组合。那么，真正起作用的可能是数据多样性，而不是某个事实只出现一次。

为区分两者，作者在材料科学实验中保持训练样本不变，增加重复训练次数，将训练轮次从一次提高到三次和五次。

结果显示，随着重复训练，原本随 monofact 比率上升的发现趋势逐渐消失。尤其在 monofact 比率较高时，一轮训练的模型反而优于多轮重复训练的模型。

由于训练数据中的化学体系和元素种类没有改变，这一结果说明，数据多样性本身不足以解释发现能力的变化。

真正重要的还包括模型接触某项信息的频率。

换句话说，训练数据不只是要包含多少种不同的事实，还要考虑这些事实在训练过程中出现了多少次。

跨领域迁移：不能脱离目标领域的数据

论文还测试了一个更实际的问题：一个领域积累的 monofact，能不能帮助模型在另一个领域产生发现？

作者以材料科学为目标领域，将调控基因组学数据加入训练，设置了两种情况：一种同时保留材料科学领域的数据，另一种完全使用基因组学数据进行训练。

结果存在明显差异。

当材料科学数据与基因组学数据共同参与训练时，提高基因组学数据中的 monofact 比率，通常能够改善材料科学领域的发现表现。不过，这种关系并非严格单调，最高 monofact 比率的模型略微超过了仅使用材料科学数据训练的基准模型。

但如果完全移除材料科学领域的数据，只使用基因组学数据，模型在材料科学任务上的发现率明显下降，monofact 比率与发现能力之间的关系也随之消失。

这说明，monofact 的作用可能具有一定跨领域迁移能力，但不能脱离目标领域的知识基础。

更准确地说，其他领域的稀有信息可以补充模型的探索能力，却不能代替目标领域本身的数据支撑。

对科学模型训练的真正启示

这项研究对模型训练和科学数据整理提出了一个值得重视的问题：过去的数据处理往往强调去重、提高高质量信息的重复曝光率，以及扩大数据覆盖范围。

但如果过度压低只出现一次的信息，可能同时减少模型接触长尾事实的机会。

monofact 提供了一个新的数据管理指标。对于科学发现任务，训练数据不应只关注总量和多样性，还需要考察低频事实的保留比例，以及它们在不同训练阶段的作用。

当然，这并不意味着应该无条件增加单次出现的数据。低质量、错误或缺乏依据的信息同样可能扩大模型产生幻觉的空间。如何保留有价值的稀有事实，并通过领域知识、验证机制和推理能力筛选候选结果，才是实际训练中需要解决的问题。

作者也指出，目前的理论边界仍依赖一些难以在实际场景中估计的参数。未来还需要研究 monofact 在预训练、中期训练和后训练阶段如何变化，以及早期引入的稀有事实会被后续训练保留、强化还是覆盖。

这项研究最终给出的并不是一套可以直接复制的数据配方，而是一个值得进一步验证的训练原则：

模型的科学发现能力，不仅取决于它学到了多少知识，也可能取决于训练数据中有多少尚未被反复曝光的稀有信息。

但扩大未知内容的探索空间，并不等于提高了判断真假的能力。如何在发现与幻觉之间取得平衡，仍然是这条研究路线必须解决的问题。