論文の概要: Segregate, Refine, Integrate: Decomposing Multimodal Fusion for Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2607.12686v1
• Date: Tue, 14 Jul 2026 12:13:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.138116
• Title: Segregate, Refine, Integrate: Decomposing Multimodal Fusion for Sentiment Analysis
• Title（参考訳）: Segregate, Refine, Integrate: Decomposing Multimodal Fusion for Sentiment Analysis
• Abstract要約: 我々は、この分離をアーキテクチャ上の先行として強制するマルチモーダルLM融合スキームである textbfSeRIn (textbfSegregate, textbfRefine, textbfIntegrate) を提案する。 モダリティ特異的な進化表現は、それぞれそれぞれのエンコーダコンテキストに対して洗練されている。 専用のクロスモーダル経路は、単潮流を汚染することなく共同進化を蓄積する。
• 参考スコア（独自算出の注目度）: 41.310321156046165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal fusion must simultaneously refine modality-specific signals and model cross-modal interactions; two competing objectives typically entangled within the same operation. We propose \textbf{SeRIn} (\textbf{Se}gregate, \textbf{R}efine, \textbf{In}tegrate), a multimodal LM fusion scheme that enforces this separation as an architectural prior. Modality-specific representations evolve along isolated pathways, each refined against its respective encoder context, while a dedicated cross-modal pathway accumulates their joint evolution without contaminating unimodal streams. Full cross-modal interaction is deferred to a final prediction step - ablations confirm that structured interactions, not added capacity, drive the gains; gate analysis under visual corruption reveals emergent modality reweighting without explicit supervision. SeRIn achieves state-of-the-art results on CH-SIMS and CMU-MOSEI, improving all metrics on both benchmarks.
• Abstract（参考訳）: マルチモーダル融合は、モダリティ固有の信号を同時に洗練し、モダリティ間の相互作用をモデル化する必要がある。 本稿では、この分離をアーキテクチャ上の先行として強制するマルチモーダルLM融合スキームである \textbf{SeRIn} (\textbf{Se}gregate, \textbf{R}efine, \textbf{In}tegrate) を提案する。 モダリティ特異的な表現は、それぞれ独立した経路に沿って進化し、それぞれのエンコーダコンテキストに対して洗練され、一方、専用のクロスモーダル経路は、単潮流を汚染することなく、共同進化を蓄積する。 完全なクロスモーダルな相互作用は、最終的な予測ステップに延期される - アブレーションは、付加能力ではなく、構造化された相互作用が利得を駆動することを確認する; 視覚的な汚職の下でのゲート分析は、明示的な監督なしに、創発的なモダリティの重み付けを明らかにする。 SeRInはCH-SIMSとCMU-MOSEIで最先端の結果を達成し、両方のベンチマークにおけるすべての指標を改善した。

関連論文リスト

• Multimodal Distribution Matching for Vision-Language Dataset Distillation [50.411341509805936]
  マルチモーダル分散マッチング(Multimodal Distribution Matching)は、効率的かつ一般化可能なマルチモーダル蒸留のための幾何学的枠組みである。 MDMはデータ、モデル、損失レベルで補完的なコンポーネントを統合する。 マルチモーダルなセマンティクスを保存し、蒸留コストを大幅に削減し、建築全体にわたって頑丈な、コンパクトな合成セットを生成する。
  論文  参考訳（メタデータ） (2026-05-22T10:41:58Z)
• Cross-Modal-Domain Generalization Through Semantically Aligned Discrete Representations [4.67724003380452]
  マルチモーダル学習は、様々な感覚源にまたがる情報の統合を目指している。 現在のアプローチは、モダリティ固有の構造とクロスモーダル一般化可能性のバランスをとるのに苦労している。 我々は、モダリティ固有のコードブック間のセマンティックコンセンサスを確立する新しいフレームワークであるCoDAARを紹介する。
  論文  参考訳（メタデータ） (2026-05-12T14:03:30Z)
• Chain of Modality: From Static Fusion to Dynamic Orchestration in Omni-MLLMs [84.3271821505699]
  カオス・オブ・モダリティ(Chain of Modality, CoM)は、マルチモーダル融合を受動的結合から動的オーケストレーションに移行するエージェントフレームワークである。 CoMはトレーニングフリーまたはデータ効率のSFT設定で動作し、様々なベンチマークで堅牢で一貫した一般化を実現する。
  論文  参考訳（メタデータ） (2026-04-16T01:21:14Z)
• Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
  マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。 従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。 我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
  論文  参考訳（メタデータ） (2026-03-07T03:58:48Z)
• Feature-level Interaction Explanations in Multimodal Transformers [1.7101146971136896]
  マルチモーダルトランスフォーマーは、異なるモーダルが共同で意思決定をどのように支援するかを明確にすることなく、予測を生成する。 本稿では,凍結した事前学習エンコーダからトークン/パッチシーケンスを直接操作する構造化Mixture-of-Experts層であるFeature-level I2MoEを提案する。 我々は,帰属とトップK%マスキングを組み合わせ,忠実度を評価する専門的な説明パイプラインを開発する。
  論文  参考訳（メタデータ） (2026-03-04T18:24:31Z)
• UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
  マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。 階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。 我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
  論文  参考訳（メタデータ） (2025-09-19T17:29:25Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。