論文の概要: Structured Latent Modeling for Supervised Multimodal Information Decomposition
- arxiv url: http://arxiv.org/abs/2609.35502v1
- Date: Mon, 28 Sep 2026 16:04:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 21:18:53.431262
- Title: Structured Latent Modeling for Supervised Multimodal Information Decomposition
- Title（参考訳）: 教師付きマルチモーダル情報分解のための構造化潜在モデル
- Abstract要約: 本研究では,中間層にコントラストやマスキングの目的を適用可能なフレームワークを導入し,ソースワイドな非可逆正規化フローと,教師付き低ランク潜在変数モデルを提案する。
このアーキテクチャは、共同分布を、共有タスク関連変分、モダリティ特化予測変分、タスク非関連変分に明確に分解する。
最終的に、このフレームワークは構造化された可能性に基づくガイダンスと中間表現学習を結合し、連続したマルチモーダル相互作用を特徴づける実用的な潜在変数レンズを提供する。
- 参考スコア（独自算出の注目度）: 10.955931279175546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal prediction relies on diverse forms of evidence: information repeated across modalities, cues specific to a single source, and complex cross-modal dependencies that emerge only when inputs are considered together. While recent methods promote richer interactions, they lack a principled way to isolate these target-relative contributions within learned continuous representations. We introduce a framework that applies contrastive or masked objectives at intermediate layers, coupled with source-wise invertible normalizing flows and a supervised, low-rank latent variable model. This architecture explicitly factorizes the joint distribution into shared task-relevant variation, modality-specific predictive variation, and task-irrelevant dependence. Drawing connections to prior multimodal learning assumptions, our approach evaluates how modalities independently and jointly contribute to the target. Ultimately, this framework unites intermediate representation learning with structured likelihood-based guidance, offering a practical latent-variable lens for characterizing continuous multimodal interactions. Empirically, we demonstrate the effectiveness of our approach across diverse multimodal benchmarks, showing robust improvements in predictive performance.
- Abstract（参考訳）: マルチモーダル予測は、様々な形の証拠に依存している: モダリティ間で繰り返される情報、単一のソースに固有のキュー、入力が一緒に検討された場合にのみ現れる複雑なモダリティ依存関係である。
最近の手法はよりリッチな相互作用を促進するが、学習された連続表現の中でこれらの目標相対的な寄与を分離する原則的な方法が欠如している。
本研究では,中間層にコントラストやマスキングの目的を適用可能なフレームワークを導入し,ソースワイドな非可逆正規化フローと,教師付き低ランク潜在変数モデルを提案する。
このアーキテクチャは、共同分布を、共有タスク関連変分、モダリティ特化予測変分、タスク非関連変分に明確に分解する。
本研究は,従来のマルチモーダル学習の仮定に関連付けることで,モダリティが目的にどう貢献するかを独立に評価する。
最終的に、このフレームワークは構造化された可能性に基づくガイダンスと中間表現学習を結合し、連続したマルチモーダル相互作用を特徴づける実用的な潜在変数レンズを提供する。
実験により,様々なマルチモーダルベンチマークにおけるアプローチの有効性を実証し,予測性能の堅牢性を示した。
関連論文リスト
- RePercENT: Scaling Disentangled Representation Learning Beyond Two Modalities [34.35941675436447]
RePercENTは、2つのモダリティを超えて、スケーラブルなペアワイズ・アンタングルをアンロックするように設計された、自己管理型のフレームワークである。
提案手法は, 事前抽出した埋め込みを直接操作し, 広範囲なジョイント・プレトレーニングの必要性を解消する。
さまざまなモダリティやタスクにわたって、RePercENTは、競合性能を維持しながら、アンタングルされたコンポーネントの回復に成功した。
論文 参考訳（メタデータ） (2026-06-03T17:10:39Z) - Multi-Modal Image Fusion via Intervention-Stable Feature Learning [8.38110675007969]
本稿では、ロバストな相互依存を特定するために、因果原理に着想を得た介入に基づくフレームワークを提案する。
提案手法は,公開ベンチマークと下流高レベル視覚タスクの両方でSOTA性能を実現する。
論文 参考訳（メタデータ） (2026-03-24T14:36:24Z) - Orthogonalized Multimodal Contrastive Learning with Asymmetric Masking for Structured Representations [4.67724003380452]
マルチモーダル学習は異種情報源からの情報を統合することを目的としており、そこでは信号はモダリティ間で共有され、個々のモダリティに特有であり、相互作用を通してのみ現れる。
自己教師型マルチモーダルコントラスト学習は目覚ましい進歩を遂げてきたが、既存の手法のほとんどは冗長なクロスモーダル信号を捉え、しばしばモダリティ固有の(一意的な)情報や相互作用駆動の(シネルジスティックな)情報を無視している。
最近の拡張は、この視点を広げるが、それらは相乗的相互作用を明示的にモデル化したり、異なる情報コンポーネントを絡み合った方法で学習することに失敗し、不完全な表現と潜在的な情報漏洩につながる。
基本的枠組みである textbfCOrAL を導入する。
論文 参考訳（メタデータ） (2026-02-16T18:06:53Z) - Co-Exploration and Co-Exploitation via Shared Structure in Multi-Task Bandits [26.213618533559423]
本稿では,コンテキスト型マルチタスク・マルチアーム・バンディット・セッティングにおける効率的な探索のための新しいフレームワークを提案する。
提案手法は,全タスクの観察を統合し,新たなタスクに対する個人化された推論が可能でありながら,グローバルな共同分布を学習する。
論文 参考訳（メタデータ） (2025-12-14T13:56:58Z) - Cross-Modal Alignment via Variational Copula Modelling [54.25504956780864]
複数のモーダルから様々な情報を集約するマルチモーダル学習手法を開発することが不可欠である。
既存の方法は主に連結やクロネッカー積に依存し、モジュラリティ間の相互作用構造を単純化する。
そこで本研究では,様々なモーダルの連成分布の学習に焦点を当てた,コプラ駆動型マルチモーダル学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-05T05:28:28Z) - NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。
NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。
さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
論文 参考訳（メタデータ） (2025-10-15T16:25:18Z) - Jointly Modeling Inter- & Intra-Modality Dependencies for Multi-modal Learning [42.16496299814368]
我々は、モーダリティ間の依存にのみ依存する従来のアプローチは、一般的に最適ではないかもしれないと論じる。
モーダリティ間の依存を捕捉・統合する言語間・モダリティ間モデリング(I2M2)フレームワークを提案する。
現実の医療と最先端のモデルを用いたビジョン・アンド・ザ・アーティカルなデータセットを用いて、我々のアプローチを評価する。
論文 参考訳（メタデータ） (2024-05-27T19:22:41Z) - Unified Multi-modal Unsupervised Representation Learning for
Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。
我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。
UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文 参考訳（メタデータ） (2023-11-06T13:56:57Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳（メタデータ） (2023-06-22T10:53:10Z) - Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。
我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
論文 参考訳（メタデータ） (2021-06-23T17:54:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。