导读： 联合嵌入预测架构（JEPA）由于缺乏实践指导和理论，研发工作大多是临时性的。Facebook 首席人工智能科学家、图灵奖得主 LeCun 提出了一套全面的 JEPA 理论——一个精简、可扩展且理论基础扎实的训练目标。他引入了一种新的目标函数——草图化各向同性高斯正则化（SIGReg）——来约束嵌入，...

联合嵌入预测架构（JEPA）由于缺乏实践指导和理论，研发工作大多是临时性的。

Facebook 首席人工智能科学家、图灵奖得主 LeCun 提出了一套全面的 JEPA 理论——一个精简、可扩展且理论基础扎实的训练目标。

他引入了一种新的目标函数——草图化各向同性高斯正则化（SIGReg）——来约束嵌入，使其达到该理想分布。

将 JEPA 预测损失与 SIGReg 相结合，产生了 LeJEPA，它具有诸多理论和实践优势，例如：

• 单一权衡超参数

• 线性时间和内存复杂度

• 对各种超参数、架构（ResNet、ViT、ConvNet）和领域均具有稳定性

• 无需启发式方法

• 易于分布式训练，仅需约 50 行代码即可实现

目前的实证验证涵盖了 10 多个数据集和 60 多个架构，涵盖了不同的规模和领域。

有消息称，这可能是 LeCun 在 Meta 发表的最后几篇论文之一。

稳定且可扩展

团队在确立各向同性高斯分布作为理想的特征先验后，将基于统计检验的正则化方式加入到模型中，形成了 LeJEPA 的整体框架。

该方法利用一种切片式的检验来衡量模型嵌入与目标分布之间的偏差，并用数值求积近似替代积分计算。

实际实验表明，即便只使用十几个位点，简单的求积方法也足以获得稳定估计；同时由于被积函数具有对称性，可在不增加额外成本的情况下提高估计精度。

虽然小批量训练会带来一定偏差，但其衰减速度非常快，经验上即便是很小的 batch 也不会造成明显影响，因此不采用样本分割或 U-统计量等无偏替代方案。

预测损失部分沿用了自监督多视图学习的约定，通过生成若干全局视角和局部视角，让模型在各视图之间进行一致性预测；所有视图共同对全局视图特征进行估计，并以全局嵌入的均值作为对齐目标。

实验结果

最终的 LeJEPA 损失就是将预测项与正则项按照单一权重进行组合，因此整体实现非常精简，不依赖教师-学生结构、预测器分支或梯度停止等传统启发式，应对坍塌主要依靠正则项本身的数学约束。

该方法与生成建模和最优传输中的部分技术思路相通，例如切片分布匹配或核式统计距离。当切片检验的积分被完全解析化时，其形式与某些 MMD 方法接近。

理论上在特定的检验选择下会出现与其他 SSL 框架相似的极端情形，但研究者指出这些设定容易产生捷径式解，因此不推荐使用。

实验结果显示，LeJEPA 在不同架构、不同数据规模和常见超参数下都具有良好稳定性；视觉模型在 ImageNet-100、ImageNet-1K 上均能在多种视图设置与损失权重下保持稳定表现，且无需显式监督即可学习丰富的语义分割特征。

在专业领域（如星系图像）的数据集上，直接使用 LeJEPA 预训练能优于当前主流的自监督模型，即使在千级样本的小数据集上也能有效学习。

结果显示，使用 LeJEPA 进行域内预训练，在线性探测和全量微调这两项评估中均显著优于顶尖的前沿模型。


正则项的积分上下限、求积点数等参数对性能影响极小，而切片数量只在一定程度上带来增益。

更重要的是，在不依赖预测器、寄存器 token 的情况下训练也不会坍塌，说明不稳定性主要来自以往方法的目标本身，而非结构组件。

其训练损失与下游准确率之间具有明显的单调关系，通过简单缩放可使相关性进一步接近线性，从而能够在无标签条件下进行模型选择大规模实验表明，该方法能在数亿至十几亿参数的模型上保持稳定的训练曲线，无需繁琐参数调整。

可视化显示，模型内部自然形成了具有语义意义的注意力模式，既能突出物体边界，也能在视频序列中形成时间一致的前景分割，表明其学到的表征同时具备空间语义和时间结构。

整体来看，LeJEPA 通过明确的分布正则和简洁的多视图预测目标，在稳定性、跨架构适用性、小样本有效性以及下游可控性方面展现出显著优势。

参考资料：

https://arxiv.org/pdf/2511.08544