論文の概要: Asymmetric Multimodal Learning with Decomposed JEPAs
- arxiv url: http://arxiv.org/abs/2611.16639v1
- Date: Thu, 12 Nov 2026 11:13:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.453157
- Title: Asymmetric Multimodal Learning with Decomposed JEPAs
- Title(参考訳): 分解型JEPAsを用いた非対称マルチモーダル学習
- Abstract要約: クロスモーダルアライメントはマルチモーダル表現を構築するための標準目的である。
両極目的物としてのアライメントは、モダリティが情報的に非対称である場合にも失われることを示す。
我々はtextbfDecomposed JEPAを導入し、ラテントを協調した共有コアとプライベートなモダリティ特異的ファイバに分解する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-modal alignment is the standard objective for building multimodal representations. We show that alignment as a \emph{sole} objective is lossy wherever modalities are informationally asymmetric---where neither can express what the other carries. Visual question answering is an obvious case: a question is a selective relational operator probing a dense visual field whose fine-grained features no query recovers, so what alignment preserves is not what the task requires. We prove an \textbf{Alignment Redundancy Bound}: alignment-only Dirichlet energy minimization retains at most the redundant information atom $\Red(Z; X_1, X_2)$, annihilating private modality-specific structure $\Unq(Z; X_m)$ and cross-modal synergy $\Syn(Z; X_1, X_2)$. We introduce \textbf{Decomposed JEPA (D-JEPA)}, which factorizes latents into an aligned shared core and private modality-specific fibers. The shared core retains most of the structure alignment targets; the private fibers recover what alignment discards, via contextual masked prediction and asymmetric cross-subspace independence. Under information asymmetry, alignment-only training undergoes catastrophic semantic collapse on compositional reasoning benchmarks, surviving only on binary queries. D-JEPA averts this collapse, substantially improving downstream accuracy over both alignment-only and alignment-with-reconstruction baselines, and restoring a positive multimodal synergy gap in place of the baseline's inverted gap. Information-theoretic audits confirm that D-JEPA recovers most of the mutual information available from a frozen backbone, and causal fiber-swap interventions demonstrate that the recovered information is causally localized in the private fibers.
- Abstract(参考訳): クロスモーダルアライメントはマルチモーダル表現を構築するための標準目的である。
目的とするアライメントは、モダリティが情報的に非対称であり、一方が持つものを表現することができない場合にも損失であることを示す。
視覚的な質問応答は明らかなケースである: 質問は、きめ細かい機能がクエリを回復しないような、密集した視野を探索する選択的な関係演算子である。
アライメントのみのディリクレエネルギー最小化は、ほとんどの冗長な情報 atom $\Red(Z; X_1, X_2)$, annihilating private modality-specific structure $\Unq(Z; X_m)$, and cross-modal synergy $\Syn(Z; X_1, X_2)$ で維持される。
我々は、潜伏剤を共有コアとプライベートモダリティ特異的ファイバに分解する「textbf{Decomposed JEPA (D-JEPA)}」を紹介した。
共有コアは、ほとんどの構造的アライメントターゲットを保持しており、プライベートファイバは、文脈的にマスクされた予測と非対称な部分空間独立によって、アライメントが放棄されるものを回復する。
情報非対称性の下では、アライメントのみのトレーニングは、構成推論ベンチマーク上で破滅的なセマンティック崩壊を起こし、バイナリクエリでのみ生存する。
D-JEPAはこの崩壊を回避し、アライメントのみとアライメントアライメントアライメントアライメントアライメントアライメントアライメントアライメントベースラインの下流精度を大幅に改善し、ベースラインの反転ギャップの代わりに正のマルチモーダル・シナジーギャップを復元する。
情報理論監査は、D-JEPAが凍結したバックボーンから利用可能な情報のほとんどを回収していることを確認し、因果繊維とスワップの介入は、回収された情報がプライベートファイバーに因果的に局在していることを示す。
関連論文リスト
- Hankel Subspace Self-Supervised Learning for Parallel MRI Reconstruction [5.041979952992342]
並列磁気共鳴イメージングのための走査特異的再構成フレームワークを提案する。
HSSReconは、ハンケルが持ち上げる前に物理的取得ユニットによってデータを分割し、重複するウィンドウで繰り返しハンケルコピーに多重性正規化を適用する。
HSSReconは、6つの集約条件における競合ピーク信号対雑音比、構造的類似性、正規化平均二乗誤差を達成する。
論文 参考訳(メタデータ) (2026-10-08T09:22:55Z) - Relational Response Fields: A General Theory of Black-Box LLM Response Consistency and Recovery [0.0]
ブラックボックス言語モデルの信頼性は、サンプリング、プロンプト、投票、検証、または個別の回答の反復的な修正によって追求される。
我々は、クエリの型変換に対する応答を、エンフレレーション応答場(RRF)として表現する。
アンカーは、パラフレーズ、スケーリング、分解、その他のタスク対称性の下で、有効なレスポンスがどのように変化するかをエンコードする。
リレーショナル演算子$D$、アンカー演算子$A$、最大で$k$の応答ノードに対して、ブラックボックス応答回復の本質的な難しさとして$_k(D,A)$を識別する。
論文 参考訳(メタデータ) (2026-08-05T07:43:41Z) - C$^{2}$R: Cross-sample Consistency Regularization Mitigates Feature Splitting and Absorption in Sparse Autoencoders [56.67585330425431]
スパースオートエンコーダ(SAE)は、アクティベーションをスパースで人間の理解可能な機能に分解することで、大きな言語モデルを解釈するために広く使われている。
これらの問題は、サンプル間の一貫性のない潜在的な割り当てに起因している。
我々はC$2$Rを導入し、これは方向的に類似した潜伏剤の共活性化を罰する。
論文 参考訳(メタデータ) (2026-06-29T17:45:31Z) - Rank-Aware Hyperbolic Alignment for Vision-Language Dataset Distillation [54.74045834035952]
視覚言語データセット蒸留(VLDD)は、大きな画像テキストのペア化されたデータセットを小さな合成ペアに圧縮する。
階層幾何学と明示的なアライメント・キャパシティ制御を組み合わせたランク認識型双曲アライメント(RAHA)を提案する。
RAHAは、競争力のあるクロスモーダル検索と、固定予算下での転送インジケータの改善を示す。
論文 参考訳(メタデータ) (2026-06-28T15:41:31Z) - Res$^2$CLIP: Few-Shot Generalist Anomaly Detection with Residual-to-Residual Alignment [21.61732087909472]
数ショットのジェネラリスト異常検出は、再訓練なしに新しいカテゴリに一般化するモデルを必要とする。
粗い粒度の統一されたテキストプロンプトは、きめ細かい前景と背景の違いに対応するのに苦労する。
我々は,多モードアライメントを完全に統一された残差空間にシフトさせることを提案し,残差表現は自然にきめ細かい通常の特徴差を除去する。
論文 参考訳(メタデータ) (2026-05-15T16:49:58Z) - Empowering Heterogeneous Graph Foundation Models via Decoupled Relation Alignment [20.128308877213044]
Decoupled Relation Subspace Alignment (DRSA)は、新しいプラグアンドプレイ関係駆動フレームワークである。
特徴的意味論を関係構造から切り離すことによってパラダイムを根本的にシフトさせる。
ユニバーサルプリプロセッシングモジュールとしてシームレスに統合することができる。
論文 参考訳(メタデータ) (2026-05-01T15:31:36Z) - XFACTORS: Disentangled Information Bottleneck via Contrastive Supervision [37.140199946294565]
textscXFactorsは弱制御されたVAEフレームワークで、選択された要素のセットを乱し、明示的に制御する。
提案手法は遅延容量の増加とともに精度良くスケールし,実世界のデータセットCelebAで評価する。
論文 参考訳(メタデータ) (2026-01-29T13:20:48Z) - Cross-modal Full-mode Fine-grained Alignment for Text-to-Image Person Retrieval [54.90229711181207]
TIPR (Text-to-Image Person Retrieval) は、与えられたテキストクエリに基づいて、最も関連性の高い人物画像を取得することを目的としている。
TIPRの鍵となる課題は、テキストと視覚のモダリティの効果的なアライメントを達成することである。
FMFA, クロスモーダルフルモーデファインファインファインファインアライメントフレームワークを提案する。
論文 参考訳(メタデータ) (2025-09-17T07:12:05Z) - From Distributional to Overton Pluralism: Investigating Large Language Model Alignment [82.99849359892112]
適応後の応答多様性の低下を以前報告した再検査を行った。
分析の結果,応答の多様性の明らかな低下は,品質管理と情報集約によって大きく説明できることがわかった。
発見は、現在のアライメント技術はキャプチャーされるが、アシスタントライクなベースLLM動作の有用なサブセットを拡張するものではないことを示している。
論文 参考訳(メタデータ) (2024-06-25T16:32:33Z) - Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。
これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。
提案手法は他の最先端アルゴリズムに対して好適に機能する。
論文 参考訳(メタデータ) (2024-05-15T00:17:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。