SADL:以供需约束缓解JEPA表征坍缩
SADL: On the Demand-Supply Geometry of Representation Collapse
AI 摘要
作者发现,JEPA 的编码器表征从初始化起就被不同输入共享的分量主导;批归一化投影器会移除该分量,因此投影器之后的正则化无法纠正,表征差异持续缩小直至坍缩。为此提出 SADL 损失:保留原训练目标,比较投影器输出所要求的表征差异与编码器实际能保留的差异,仅在供给不足时直接约束编码器,并且不引入辅助网络。
标题与摘要由 AI 根据原文自动生成,可能存在偏差;具体数据与结论请以原文为准。