論文の概要: HRIL: Learning Multimodal Synergy via Higher-Order Tensor Modeling

• arxiv url: http://arxiv.org/abs/2610.12393v1
• Date: Thu, 08 Oct 2026 17:39:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.231695
• Title: HRIL: Learning Multimodal Synergy via Higher-Order Tensor Modeling
• Title（参考訳）: HRIL:高次テンソルモデリングによるマルチモーダルシナジーの学習
• Abstract要約: 自己教師型マルチモーダル表現学習は、様々な領域で顕著な成功を収めた。 しかし、相互モーダル相互作用の複雑さのため、相乗的情報の取得は依然として困難である。 この研究は、マルチモーダル表現におけるそのようなシナジスティック信号の情報容量の保存方法に焦点をあてる。
• 参考スコア（独自算出の注目度）: 49.47522889508097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised multimodal representation learning has achieved remarkable success across diverse domains, yet capturing synergistic information remains challenging due to the complexity of cross-modal interactions. Unlike the shared information across individual modalities, synergy arises when task-relevant signals emerge only from the joint configuration of multiple modalities and cannot be recovered from any modality in isolation. This work focuses on how to preserve the information capacity for such synergistic signals in multimodal representations. The key observation is that synergistic information is reflected in higher-order statistical dependence among modalities, which provides a principled target for explicitly modeling joint interactions. Motivated by this insight, we propose Higher-order Representation and Information Learning (HRIL), which constructs an empirical cross-moment tensor over modality embeddings to represent multi-way interactions. HRIL employs Tucker decomposition to obtain a core tensor, complemented by a synergy-aware regularizer that prevents energy concentration and preserves higher-order coupling capacity for synergistic information capture. Experiments on the controlled synergy task and real-world benchmarks demonstrate consistent improvements over existing multimodal contrastive methods, with notable gains on tasks dominated by synergistic interactions. Code is released at https://github.com/brightest66/HRIL.
• Abstract（参考訳）: 自己教師付きマルチモーダル表現学習は、様々な領域で顕著な成功を収めてきたが、相互モーダル相互作用の複雑さのため、相乗的情報の取得は依然として困難である。 個々のモーダル間の共有情報とは異なり、シナジーは、タスク関連信号が複数のモーダルのジョイント構成からのみ出現し、孤立したモーダルから回復できないときに生じる。 この研究は、マルチモーダル表現におけるそのようなシナジスティック信号の情報容量の保存方法に焦点をあてる。 鍵となる観察は、相乗的情報はモダリティ間の高次統計依存に反映され、共同相互作用を明示的にモデル化するための原則的ターゲットを提供することである。 この知見により,多方向相互作用を表現するためのモダリティ埋め込み上の経験的クロスモーメントテンソルを構成する高次表現・情報学習(HRIL)を提案する。 HRILは、エネルギー集中を防止し、シナジスティック情報取得のための高次結合容量を保持する相乗認識正規化器で補うコアテンソルを得るためにタッカー分解を用いる。 制御されたシナジータスクと実世界のベンチマークの実験は、既存のマルチモーダルコントラスト法よりも一貫した改善を示し、シナジスティックな相互作用によって支配されるタスクに顕著な利益をもたらした。 コードはhttps://github.com/brightest66/HRILで公開されている。

関連論文リスト

• SynCo: Learning Cross-Modal Synergy by Contrasting Interaction Residuals [6.929741688224915]
  マルチモーダルコントラスト学習は、ラベルのないデータから転送可能な表現を学習するための支配的なパラダイムである。 最近のフレームワークは、対照的な学習を拡張して3つのコンポーネントをすべてキャプチャするが、実際にはシナジーは訓練されていない。 本稿では, 相互作用残差の専門監督を通じて, シナジー訓練を直接処理する手法であるSynCoを提案する。
  論文  参考訳（メタデータ） (2026-09-26T18:19:41Z)
• Orthogonalized Multimodal Contrastive Learning with Asymmetric Masking for Structured Representations [4.67724003380452]
  マルチモーダル学習は異種情報源からの情報を統合することを目的としており、そこでは信号はモダリティ間で共有され、個々のモダリティに特有であり、相互作用を通してのみ現れる。 自己教師型マルチモーダルコントラスト学習は目覚ましい進歩を遂げてきたが、既存の手法のほとんどは冗長なクロスモーダル信号を捉え、しばしばモダリティ固有の(一意的な)情報や相互作用駆動の(シネルジスティックな)情報を無視している。 最近の拡張は、この視点を広げるが、それらは相乗的相互作用を明示的にモデル化したり、異なる情報コンポーネントを絡み合った方法で学習することに失敗し、不完全な表現と潜在的な情報漏洩につながる。 基本的枠組みである textbfCOrAL を導入する。
  論文  参考訳（メタデータ） (2026-02-16T18:06:53Z)
• Multi-Modal Manipulation via Multi-Modal Policy Consensus [62.49978559936122]
  本稿では,ロボット操作のための多様な感覚モダリティを統合するための新しいアプローチを提案する。 提案手法は,それぞれが単一の表現に特化している拡散モデルの集合にポリシーを分解する。 我々は、RLBenchにおけるシミュレーション操作タスクと、隠蔽対象のピック、手作業のスプーン再配向、パズル挿入といった実世界のタスクについて評価した。
  論文  参考訳（メタデータ） (2025-09-27T19:43:04Z)
• MINT: Multimodal Instruction Tuning with Multimodal Interaction Grouping [28.653290360671175]
  我々は,マルチモーダルインタラクションのタイプに基づいた,シンプルながら驚くほど効果的なタスクグループ化戦略であるMINTを紹介する。 提案手法は,マルチモーダル命令チューニングにおいて,既存のタスクグループ化ベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-06-02T22:55:23Z)
• Asynchronous Multimodal Video Sequence Fusion via Learning Modality-Exclusive and -Agnostic Representations [19.731611716111566]
  本稿では,モダリティ学習のためのマルチモーダル融合手法を提案する。 我々は、モーダル内の信頼性のあるコンテキストダイナミクスをキャプチャする予測的自己アテンションモジュールを導入する。 階層的クロスモーダルアテンションモジュールは、モダリティ間の価値ある要素相関を探索するために設計されている。 両識別器戦略が提示され、異なる表現を敵対的に生成することを保証する。
  論文  参考訳（メタデータ） (2024-07-06T04:36:48Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Multi-Agent Imitation Learning with Copulas [102.27052968901894]
  マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。 本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。 提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
  論文  参考訳（メタデータ） (2021-07-10T03:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。