論文の概要: MSCR: Jointly Balancing Utilization Across Modalities and Discovering Synergistic Information

• arxiv url: http://arxiv.org/abs/2610.24395v1
• Date: Sat, 17 Oct 2026 02:54:30 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:51:14.392037
• Title: MSCR: Jointly Balancing Utilization Across Modalities and Discovering Synergistic Information
• Title（参考訳）: MSCR: モダリティ全体での利活用と相乗的情報の発見を共同で行う
• Abstract要約: マルチモーダル学習において、モダリティの不均衡はしばしば一つのモダリティが最適化を支配し、モデルがクロスモーダル相互作用を完全に活用することを防ぐ。 本稿では,相乗的情報発見と相乗的情報の相乗的利用を共同で促進する融合法であるマルチモーダル相乗的競争規則化器(MSCR)を提案する。
• 参考スコア（独自算出の注目度）: 50.6620040815744
• License:
• Abstract: In multimodal learning, modality imbalance often lets one modality dominate optimization and keeps the model from fully exploiting cross-modal interactions. Balance-oriented methods such as the Multimodal Competition Regularizer (MCR) perform well by alleviating this imbalance during training. These dynamic balancing methods, however, mainly adjust modality contributions and do not consider how imbalance affects the formation of synergistic information during fusion. Synergy is a major source of multimodal advantage, because it is predictive gain that cannot be recovered from unimodal evidence alone. We propose the Multimodal Synergistic Competition Regularizer (MSCR), a fusion method that jointly promotes balanced modality utilization and the discovery of synergistic information. MSCR has two complementary objectives. An anti-dominance objective suppresses excessive unimodal influence and leaves room for synergistic information, and a synergy objective encourages the fused predictor to outperform a non-synergistic unimodal reference. An adaptive gate further concentrates the regularization on samples that need stronger collaborative modeling. Experiments on five benchmarks show that MSCR consistently improves performance over MCR and strengthens synergistic capability. It raises conditional recovery, the accuracy of the fused prediction on samples that the unimodal predictors misclassify, as well as the share of the model's output that InterSHAP attributes to cross-modal interactions. Its gain in conditional recovery persists when the fusion module is Transformer-based. Code is available at https://github.com/chenxinyu991-collab/MSCR.
• Abstract（参考訳）: マルチモーダル学習において、モダリティの不均衡はしばしば一つのモダリティが最適化を支配し、モデルがクロスモーダル相互作用を完全に活用することを防ぐ。 MCR(Multimodal Competition Regularizer)のようなバランス指向の手法は、トレーニング中にこの不均衡を緩和することでうまく機能する。 しかしながら、これらの動的バランス法は主にモダリティの寄与を調整し、融合時の相乗的情報の形成に不均衡がどう影響するかを考慮しない。 シナジーは、単調な証拠だけでは回収できない予測的な利得であるため、マルチモーダル的な優位性の主要な源である。 本稿では,相乗的情報発見と相乗的情報の相乗的利用を共同で促進する融合法であるマルチモーダル相乗的競争規則化器(MSCR)を提案する。 MSCRには2つの補完目的がある。 反支配目的は、過度の単調の影響を抑え、シナジスティック情報のための余地を離脱し、相乗的目的は、融合予測器が非シネルジスティックな単調参照を上回るように促す。 適応ゲートは、より強力な協調モデリングを必要とするサンプルの正規化をさらに集中させる。 5つのベンチマーク実験により、MSCRはMCRよりも一貫して性能を改善し、相乗的能力を高めることが示されている。 条件付きリカバリ、一助予測器が誤分類したサンプルの融合予測の精度、およびInterSHAPがモーダル間相互作用に起因するモデル出力のシェアを高める。 条件付きリカバリにおける利得は、フュージョンモジュールがTransformerベースであるときに持続する。 コードはhttps://github.com/chenxinyu991-collab/MSCRで入手できる。

関連論文リスト

• HRIL: Learning Multimodal Synergy via Higher-Order Tensor Modeling [49.47522889508097]
  自己教師型マルチモーダル表現学習は、様々な領域で顕著な成功を収めた。 しかし、相互モーダル相互作用の複雑さのため、相乗的情報の取得は依然として困難である。 この研究は、マルチモーダル表現におけるそのようなシナジスティック信号の情報容量の保存方法に焦点をあてる。
  論文  参考訳（メタデータ） (2026-10-08T17:39:45Z)
• Which Modality Decides? Counterfactual Modality Attribution for Multimodal LLMs [4.192318018134786]
  マルチモーダル大規模言語モデル (MLLM) は画像とテキストの相補的な情報を組み合わせることで高い意思決定を支援する。 既存の説明可能性法では、どのモダリティが予測を駆動するかという根本的な疑問に答えることができない。 MLLMにおけるモダリティレベルのコントリビューションを定量化するための最初のフレームワークとして,CMA(Counterfactual Modality Attribution)を提案する。
  論文  参考訳（メタデータ） (2026-07-29T13:33:11Z)
• Group Cognition Learning: Making Everything Better Through Governed Two-Stage Agents Collaboration [13.299987551113809]
  グループ認知学習(グループ認知学習、Group Cognition Learning、GCL)は、モダリティ固有の符号化の後に2段階のプロトコルを適用する、管理された協調パラダイムである。 GCLはモダリティの優位性と結合を緩和し、回帰ベンチマークと分類ベンチマークの両方で最先端の結果を確立する。
  論文  参考訳（メタデータ） (2026-05-01T03:19:34Z)
• AffectAgent: Collaborative Multi-Agent Reasoning for Retrieval-Augmented Multimodal Emotion Recognition [62.16431420189863]
  LLMに基づくマルチモーダル感情認識は静的なパラメトリックメモリに依存しており、ニュアンス化された感情状態の解釈時にしばしば幻覚を与える。 本稿では,感情指向型マルチエージェント検索拡張生成フレームワークであるAffectAgentを紹介する。 AffectAgentは3つの共同最適化されたエージェント、すなわちクエリプランナー、エビデンスフィルタ、感情生成器から構成される。
  論文  参考訳（メタデータ） (2026-04-14T13:49:19Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Modality Equilibrium Matters: Minor-Modality-Aware Adaptive Alternating for Cross-Modal Memory Enhancement [13.424541949553964]
  そこで本研究では,微調整を適応的に優先順位付けしてバランスを保ち,融合を促進させるシェープリー誘導型交互訓練フレームワークを提案する。 我々は4つのマルチモーダル・ベンチマーク・データセットのバランスと精度の両面での性能評価を行い,その手法がSOTA(State-of-the-art)の結果を達成した。
  論文  参考訳（メタデータ） (2025-05-26T02:02:57Z)
• Balancing Multimodal Training Through Game-Theoretic Regularization [26.900302082724295]
  マルチモーダル学習は、データソース間の依存関係をキャプチャすることで、よりリッチな情報抽出を約束する。 しかし、現在のトレーニング手法は、しばしばモダリティの競争によって性能が低下する。 本稿では、相互情報分解(MI)に触発されたMCR(Multimodal Competition Regularizer)を提案する。
  論文  参考訳（メタデータ） (2024-11-11T19:53:05Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。