論文の概要: InfMasking: A Unified Variational Framework for Synergistic Multimodal Learning
- arxiv url: http://arxiv.org/abs/2611.07702v1
- Date: Thu, 05 Nov 2026 09:24:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.633722
- Title: InfMasking: A Unified Variational Framework for Synergistic Multimodal Learning
- Title(参考訳): InfMasking: 相乗的マルチモーダル学習のための統一的変分フレームワーク
- Abstract要約: InfMaskingはInfinite Maskingをベースにした統合マルチモーダル学習フレームワークである。
様々な部分的な組み合わせの一貫性を維持することは、支配的なモダリティへの依存を妨げる。
InfMaskingは予測性能を改善し、タスクラベルの相乗効果の平均PID推定値を高くする。
- 参考スコア(独自算出の注目度): 70.56873584414096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal models are expected to exploit synergistic information, that is, information available only when multiple modalities are observed together. In practice, however, a fusion module can fit the training objective by relying on a dominant modality or on information that modalities share, and the synergy between modalities is often left unused. We propose InfMasking, a unified multimodal learning framework based on Infinite Masking. Before fusion, InfMasking randomly masks the features of each modality; each sampled mask produces a different partial combination of cross-modal evidence and a fused representation of the corresponding modality interactions. All masked fused representations are required to remain consistent with a reference target: the unmasked fused view when training is unsupervised, and the class proxy of the task label when labels are available. Maintaining this consistency across diverse partial combinations discourages reliance on a dominant modality or on shared information alone, and drives the fusion module to learn cross-modal interaction patterns that remain meaningful under partial observations. Since the objective is an expectation over infinitely many masks, we model the masked fused representations as Gaussian and optimize closed-form variational bounds, whose population-moment gaps are controlled by the masking-induced covariance under this model. On the evaluated benchmarks, InfMasking improves predictive performance and yields higher mean PID estimates of task-label synergy in learned modality-specific representations, alongside higher InterSHAP interaction attribution in the trained predictors. Code is available at https://github.com/brightest66/InfMasking.
- Abstract(参考訳): マルチモーダルモデルは、複数のモーダルが同時に観測された場合にのみ利用可能な、シナジスティックな情報を活用することが期待されている。
しかし、実際には、融合モジュールは、支配的なモダリティや、モダリティが共有する情報に頼ることによって、トレーニング目標に適合し、モダリティ間のシナジーはしばしば使われない。
Infinite Maskingに基づく統合型マルチモーダル学習フレームワークInfMaskingを提案する。
融合前、InfMaskingは各モダリティの特徴をランダムにマスキングし、各サンプルマスクは、相互モダリティの証拠と、対応するモダリティの相互作用の融合表現の異なる部分結合を生成する。
すべてのマスク付きフューズド表現は、トレーニングが監督されていないときのアンマスク付きフューズドビュー、ラベルが利用可能であるときのタスクラベルのクラスプロキシと、参照ターゲットと一貫性を保つ必要がある。
この一貫性を様々な部分的な組み合わせで維持することは、支配的なモダリティや共有情報のみに依存することを妨げ、部分的な観察の下で意味のある相互相互作用パターンを学ぶために融合モジュールを駆動する。
目的は無限個のマスクに対する期待であるので、マスク付き融合表現をガウス的としてモデル化し、このモデルの下でのマスキング誘起共分散によって人口移動ギャップが制御される閉形式変動境界を最適化する。
評価されたベンチマークでは、InfMaskingは予測性能を改善し、学習したモダリティ固有表現におけるタスクラベル相乗効果のPID平均推定値と、訓練された予測子におけるInterSHAP相互作用の寄与値とを比較検討した。
コードはhttps://github.com/brightest66/InfMaskingで入手できる。
関連論文リスト
- Topology-Masked Unified Backbone for Joint Feature Interaction and Multi-Domain Sequence Modeling [8.950162084237288]
MaskRecは、機能相互作用とマルチドメインシーケンスモデリングのための、トポロジにマッピングされた統一トークンインタラクションアーキテクチャである。
この統一トークン空間に基づいて、MaskRecは構造化されたアテンションマスクであるTopoMaskを設計し、アテンション接続を選択的に有効またはブロックする。
MaskRecは、産業用CVR予測のための統一フレームワークの有効性を検証し、公式ベースラインよりも安定した改善を実現している。
論文 参考訳(メタデータ) (2026-08-27T11:49:55Z) - Orthogonalized Multimodal Contrastive Learning with Asymmetric Masking for Structured Representations [4.67724003380452]
マルチモーダル学習は異種情報源からの情報を統合することを目的としており、そこでは信号はモダリティ間で共有され、個々のモダリティに特有であり、相互作用を通してのみ現れる。
自己教師型マルチモーダルコントラスト学習は目覚ましい進歩を遂げてきたが、既存の手法のほとんどは冗長なクロスモーダル信号を捉え、しばしばモダリティ固有の(一意的な)情報や相互作用駆動の(シネルジスティックな)情報を無視している。
最近の拡張は、この視点を広げるが、それらは相乗的相互作用を明示的にモデル化したり、異なる情報コンポーネントを絡み合った方法で学習することに失敗し、不完全な表現と潜在的な情報漏洩につながる。
基本的枠組みである textbfCOrAL を導入する。
論文 参考訳(メタデータ) (2026-02-16T18:06:53Z) - Cross-Modal Alignment via Variational Copula Modelling [54.25504956780864]
複数のモーダルから様々な情報を集約するマルチモーダル学習手法を開発することが不可欠である。
既存の方法は主に連結やクロネッカー積に依存し、モジュラリティ間の相互作用構造を単純化する。
そこで本研究では,様々なモーダルの連成分布の学習に焦点を当てた,コプラ駆動型マルチモーダル学習フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-05T05:28:28Z) - InfMasking: Unleashing Synergistic Information by Contrastive Multimodal Interactions [66.45467539731288]
マルチモーダル表現において、モダリティ間の相乗的相互作用は相補的な情報を提供し、ユニークな結果を生み出す。
既存の手法は、シナジスティックな情報の完全なスペクトルを捉えるのに苦労し、そのような相互作用が重要となるタスクにおいて、最適以下のパフォーマンスをもたらす。
Infinite Masking 戦略によって相乗的情報を強化するために設計された対照的な相乗的情報抽出手法である InfMasking を紹介する。
論文 参考訳(メタデータ) (2025-09-28T09:31:59Z) - Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。
我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
論文 参考訳(メタデータ) (2022-11-23T07:04:41Z) - Is Cross-Attention Preferable to Self-Attention for Multi-Modal Emotion
Recognition? [36.67937514793215]
クロスモーダル・アテンションはマルチモーダル核融合の有効なメカニズムであると考えられている。
クロスアテンションモデルと自己アテンションモデルを実装し,比較する。
7クラス感情分類タスクにおいて,異なるモードの組み合わせを用いたモデルの比較を行った。
論文 参考訳(メタデータ) (2022-02-18T15:44:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。