論文の概要: MM-LeJEPA: Correlated Gaussian Regularization for Multimodal Joint-Embedding Predictive Architectures

• arxiv url: http://arxiv.org/abs/2610.24681v1
• Date: Sat, 17 Oct 2026 13:20:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 16:59:56.818972
• Title: MM-LeJEPA: Correlated Gaussian Regularization for Multimodal Joint-Embedding Predictive Architectures
• Title（参考訳）: MM-LeJEPA:マルチモーダル結合型予測アーキテクチャのための関連ガウス正規化
• Abstract要約: LeJEPAは、そのタスク仮定の下で、フィッシャー情報基準を最小化することで、等方的ガウス埋め込みターゲットを導出する。 我々は,LJEPAのタスク仮定をマルチモーダル学習に拡張することでMM-LeJEPAを導入する。
• 参考スコア（独自算出の注目度）: 50.784615468964176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LeJEPA derives an isotropic Gaussian embedding target by minimizing, under its task assumptions, a Fisher information criterion that controls the task-averaged squared prediction bias. This enables unimodal self-supervised learning without reconstruction decoders, exponential-moving-average teachers, or contrastive negatives. However, its isotropic task prior does not account for the cross-modal structure of multimodal tasks that read shared content. We introduce MM-LeJEPA by extending LeJEPA's task assumptions to multimodal learning. Specifically, we model multimodal tasks as strength-weighted combinations of components that read independent information from the two modalities and components that read the same content from both. Under explicit gradient-moment, correspondence, and symmetry assumptions, we derive a correlated Gaussian target that minimizes a weighted Fisher information functional under a fixed total variance constraint. An analytic transform adapts Sketched Isotropic Gaussian Regularization (SIGReg) to this target, yielding a two-term objective that combines distributional regularization with local-to-global prediction. The extension adds a single scalar hyperparameter, the target cross-modal correlation, and retains the simplicity of LeJEPA. On public audio-visual classification benchmarks, our results are competitive with representative open-source methods. Code will be released.
• Abstract（参考訳）: LeJEPAはタスク仮定の下で、タスク平均2乗予測バイアスを制御するフィッシャー情報基準を最小化することにより、等方的ガウス埋め込みターゲットを導出する。 これにより、再構成デコーダ、指数関数的移動平均教師、あるいは対照的なネガティブを使わずに、一助的自己教師型学習が可能となる。 しかし、その異方性タスクは、共有コンテンツを読み取るマルチモーダルタスクのクロスモーダル構造を考慮しない。 我々は,LJEPAのタスク仮定をマルチモーダル学習に拡張することでMM-LeJEPAを導入する。 具体的には、2つのモードから独立した情報を読み取るコンポーネントと、両方から同じコンテンツを読み取るコンポーネントの強度重み付けの組み合わせとして、マルチモーダルタスクをモデル化する。 明示的な勾配運動、対応、対称性の仮定の下で、固定された全分散制約の下で機能する重み付けされたフィッシャー情報を最小限にするガウス的目標を導出する。 解析変換は、Sketched Isotropic Gaussian Regularization (SIGReg) をこのターゲットに適応させ、分布正規化と局所-グローバル予測を組み合わせた2項の目的を与える。 この拡張は単一のスカラーハイパーパラメータ、ターゲットのクロスモーダル相関を追加し、LeJEPAの単純さを維持している。 公開音声視覚分類ベンチマークでは, 代表的なオープンソース手法と競合する結果が得られた。 コードはリリースされる。

関連論文リスト

• Bilinear Flow Policy: Distributional Extrapolation for Goal-Conditioned Visuomotor Imitation [12.908247655354309]
  本稿では,バイリニアフローとトランスダクティブ検索を組み合わせたビジュモータポリシであるバイリニアフローポリシーを紹介する。 目に見えない目標のために、BFPは"アンカー"トレーニングの例を検索し、この親しみやすいアンカーと残留項として、目に見えないペアをトランスダクティブに再構成する。 適切な仮定の下での双線形流の場合、見知らぬ目標における行動分布誤差は、問題依存因子までの分布内フローマッチング誤差によって境界づけられていることを証明する。
  論文  参考訳（メタデータ） (2026-10-05T04:11:41Z)
• Hierarchical Exponential-Gaussian Mixtures for Watch-Time Distribution Prediction [74.05279072166697]
  Exponential-Gaussian Mixture Network (EGMN) は完全な条件WT分布をモデル化する。 EGMNは分散崩壊、コンポーネントの冗長性、不活性成分に弱い。 本稿では,これらの故障モードに対処する階層型指数-ガウス混合(HEGM)モデルを提案する。
  論文  参考訳（メタデータ） (2026-08-24T15:06:18Z)
• Pitfalls and Remedies for Multi-Task Bayesian Optimization [10.431916242473045]
  ベイジアン最適化は、関連するソースタスクのデータを用いて、定期的にターゲット実験を温める。 我々は、このデフォルトを制御された設定で再検討し、それがタスク間の相関を誤って見積もっていることに気付きます。 我々はその失敗を2つの独立した構造機構に遡る。
  論文  参考訳（メタデータ） (2026-07-10T03:38:36Z)
• Functionality-Oriented LLM Merging on the Fisher--Rao Manifold [14.349284217707575]
  重み空間のマージは、複数の微調整LDMを再訓練せずに単一のモデルに組み合わせることを目的としている。 我々は,標準を守り,マルチエキスパートマージに直接一般化する軽量な球面プロキシを用いて,実用的な固定点アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2026-03-05T09:08:38Z)
• Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations [53.61624356747686]
  JEPA(Joint-Embedding Predictive Architectures)は、ビュー不変表現を学習し、崩壊防止のためのプロジェクションベースの分布マッチングを認める。 既存のアプローチは、等方的ガウス分布に対する表現を正則化するが、本質的には密度表現を好んでおり、効率的な表現で観察されるスパーシティの重要な性質を捉えることができない。 本稿では,Rectified Generalized Gaussian(RGG)分布に表現を整合させる2サンプル分布整合損失であるRDMRegを導入する。
  論文  参考訳（メタデータ） (2026-02-01T21:49:30Z)
• Model Merging via Multi-Teacher Knowledge Distillation [11.543771846135021]
  モデルマージ設定に特化して、新しい平坦性を考慮したPAC-Bayes一般化を導入する。 我々は,少ないラベルのないデータに基づいて,マルチ教師の知識蒸留としてマージするモデルを構築した。 我々は,学生教師のKulback-Leibler分散の最小化が,合併モデルの過大なリスクの上限を直接締め付けることを正式に証明した。
  論文  参考訳（メタデータ） (2025-12-24T17:10:44Z)
• In-Context Learning Is Provably Bayesian Inference: A Generalization Theory for Meta-Learning [51.56484100374058]
  本稿では,ICLリスクをベイズギャップとポストリアバリアンスの2つのコンポーネントに分割する基本的リスク分解を導入する。 一様アテンション変換器の場合、このギャップの非漸近上界を導出し、事前学習プロンプトの数への依存を明確にする。 後方変動は本質的なタスクの不確実性を表すモデルに依存しないリスクである。
  論文  参考訳（メタデータ） (2025-10-13T03:42:31Z)
• Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence [131.41894248194995]
  タスク認識方式でアダプタを初期化する新しい手法であるコンテキスト指向分解適応(CorDA)を提案する。 本手法は,タスク認識により,知識保存モード (KPM) と命令レビューモード (IPM) の2つのオプション適応モードを実現する。
  論文  参考訳（メタデータ） (2025-06-16T07:55:14Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。