論文の概要: LocaLeJEPA: Maximum Entropy Representations under Geometric Priors

• arxiv url: http://arxiv.org/abs/2610.28458v1
• Date: Tue, 20 Oct 2026 16:15:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.91599
• Title: LocaLeJEPA: Maximum Entropy Representations under Geometric Priors
• Title（参考訳）: LocaLeJEPA: 幾何学的事前条件下での最大エントロピー表現
• Abstract要約: JEPA(Joint-Embedding Predictive Architectures)は、自己指導型学習に魅力的なアプローチを提供するが、一般的には崩壊を表現する傾向にある。 本稿では,LeJEPAのエントロピー最大化特性の多様体理論的再構成を動機とするフレームワークであるLocaLeJEPAを紹介する。
• 参考スコア（独自算出の注目度）: 34.15528194549752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint-Embedding Predictive Architectures (JEPA) offer an appealing approach to self-supervised learning, but are typically prone to representation collapse. LeJEPA resolves this by introducing a theoretically grounded distribution-matching objective that drives the embedding towards an isotropic Gaussian. However, this approach is fundamentally tied to Euclidean assumptions, and its global target does not reflect domain-specific geometric priors, such as the use of non-Euclidean embedding geometries, e.g., equivariant CNNs or hyperbolic ViTs. We thus introduce LocaLeJEPA, a framework motivated by a manifold-theoretic reformulation of LeJEPA's entropy-maximization property. The accompanying LocaLeReg, a novel locally Euclidean distribution-matching regularizer, enables a stable and scalable implementation of the LocaLeJEPA framework. We then perform extensive experiments in the vision setting on models trained on ImageNet-1K. LocaLeJEPA significantly outperforms LeJEPA when paired with hyperbolic ViT-S/8 and equivariant ResNet-50 backbones, and also with ordinary Euclidean ViT-S/8 and ViT-L/14 backbones. This holds both in terms of linear and k-NN classification performance on ImageNet and on a series of downstream tasks tested. We view the LocaLeJEPA formalism as a principled approach to the JEPA paradigm that better respects intrinsic data geometry while also accommodating generalizations to exotic embedding geometries. Code available at https://github.com/alessioborgi/LocaLeJEPA.
• Abstract（参考訳）: JEPA(Joint-Embedding Predictive Architectures)は、自己指導型学習に魅力的なアプローチを提供するが、一般的には崩壊を表現する傾向にある。 LeJEPAは、等方性ガウスへの埋め込みを駆動する理論的に基底化された分布マッチングの目的を導入することで、これを解決している。 しかし、このアプローチは基本的にユークリッドの仮定と結びついており、その大域的対象は非ユークリッド埋め込み測地、eg、同変CNN、双曲 ViT など、領域固有の幾何学的先例を反映していない。 そこで我々は,LeJEPAのエントロピー最大化特性の多様体論的再構成を動機とするフレームワークであるLocaLeJEPAを紹介する。 ユークリッド分布整合正規化器であるLocaLeRegは、ロカレJEPAフレームワークの安定的でスケーラブルな実装を可能にする。 次に、ImageNet-1Kでトレーニングされたモデルに対して、ビジョン設定において広範な実験を行う。 LocaLeJEPAは、双曲型 ViT-S/8 と同変型 ResNet-50 のバックボーンと、通常のユークリッド型 ViT-S/8 と ViT-L/14 のバックボーンとの組み合わせで、LeJEPA を著しく上回っている。 これは、ImageNet上のリニアとk-NNの分類性能と、テストされた一連のダウンストリームタスクの両方に当てはまる。 我々は、ロカレJEPA形式主義を、固有データ幾何をよりよく尊重しつつ、エキゾチックな埋め込み幾何学への一般化を調節するJEPAパラダイムの原則的アプローチと見なしている。 コードはhttps://github.com/alessioborgi/LocaLeJEPAで公開されている。

関連論文リスト

• MM-LeJEPA: Correlated Gaussian Regularization for Multimodal Joint-Embedding Predictive Architectures [50.784615468964176]
  LeJEPAは、そのタスク仮定の下で、フィッシャー情報基準を最小化することで、等方的ガウス埋め込みターゲットを導出する。 我々は,LJEPAのタスク仮定をマルチモーダル学習に拡張することでMM-LeJEPAを導入する。
  論文  参考訳（メタデータ） (2026-10-17T13:20:43Z)
• Var-JEPA: A Variational Formulation of the Joint-Embedding Predictive Architecture -- Bridging Predictive and Generative Self-Supervised Learning [2.1127261244588156]
  JEPA(Joint-Embedding Predictive Architecture)は、確率に基づく自己教師型学習の非生成的代替と見なされることが多い。 我々は、標準のJEPA設計、コンテクスト・ツー・ターゲット予測器との結合エンコーダは、変分後部と学習条件前部を反映すると主張している。 Var-JEPAは、単一のエビデンス下界を最適化することにより、潜伏する遺伝子構造を明示する。
  論文  参考訳（メタデータ） (2026-03-20T16:36:29Z)
• BiJEPA: Bi-directional Joint Embedding Predictive Architecture for Symmetric Representation Learning [0.0]
  BiJEPAは、データセグメント間のサイクル一貫性予測を強制する。 合成周期信号,カオス的ロレンツ誘導軌道,高次元画像データという3つの異なるモードでBiJEPAを評価した。
  論文  参考訳（メタデータ） (2026-02-10T01:16:20Z)
• Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations [53.61624356747686]
  JEPA(Joint-Embedding Predictive Architectures)は、ビュー不変表現を学習し、崩壊防止のためのプロジェクションベースの分布マッチングを認める。 既存のアプローチは、等方的ガウス分布に対する表現を正則化するが、本質的には密度表現を好んでおり、効率的な表現で観察されるスパーシティの重要な性質を捉えることができない。 本稿では,Rectified Generalized Gaussian(RGG)分布に表現を整合させる2サンプル分布整合損失であるRDMRegを導入する。
  論文  参考訳（メタデータ） (2026-02-01T21:49:30Z)
• LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics [53.247652209132376]
  JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。 我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
  論文  参考訳（メタデータ） (2025-11-11T18:21:55Z)
• Joint Embedding Predictive Architectures Focus on Slow Features [56.393060086442006]
  JEPA(Joint Embedding Predictive Architectures)は、再構築不要の代替手段を提供する。 我々は、VICRegとSimCLRで訓練されたJEPAのパフォーマンスを、報酬にアクセスできることなく完全にオフラインで分析する。 JEPAメソッドはステップ毎にノイズが変わるが、ノイズが修正されるとフェールする。
  論文  参考訳（メタデータ） (2022-11-20T00:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。