論文の概要: Divide and Conquer: Mixture-of-Bottleneck Experts in Informative Ordinal Space for Video-based Multimodal Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2609.18470v1
• Date: Wed, 16 Sep 2026 11:04:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.766036
• Title: Divide and Conquer: Mixture-of-Bottleneck Experts in Informative Ordinal Space for Video-based Multimodal Sentiment Analysis
• Title（参考訳）: ディバイドとコンカー:ビデオベースマルチモーダル感性分析のためのインフォーマティブ・オーディショナル・スペースにおけるボトルネックの混合専門家
• Abstract要約: ビデオに基づくマルチモーダル感情分析は、人間の話すビデオのテキスト、音声、画像シーケンスからの情報を扱う必要がある。 ほとんどのモデルは、ビデオの感情予測を1つのタスクとして扱う。 偏極性および強度特異的の専門家に異なる潜水剤を割り当てるMixture-of-Bottleneck(MoB)フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 37.09437367444853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video-based Multimodal sentiment analysis (MSA) must handle information from text, audio, and image sequence in human speaking videos, yet current methods often fail to integrate modalities with task awareness. Most models treat video sentiment prediction as a single task, overlooking its ordinal nature, and their fusion strategies struggle to capture diverse unique and synergic cues across modalities. To address these limitations, we adopt a divide-and-conquer perspective by reformulating MSA as an ordinal regression problem and decoupling it into polarity recognition and intensity prediction. Driven by information theory, we introduce a Mixture-of-Bottleneck (MoB) framework that assigns different latents to polarity- and intensity-specific experts for different modalities. With the learning of information bottleneck, each expert learns compact and task-relevant representations while filtering out redundancy and noise. A multimodal bottleneck routing fusion module then fuses these expert latents with hard mining strategy, guiding the prediction in the ordinal sentiment space. Extensive experiments on 4 MSA datasets and 4 language models show that MoB effectively leverages informative latents from diverse modalities and captures general sentiment structure. Beyond stronger performance, MoB comprehensively captures fine-grained intra- and inter-modal dynamics, enabling more trustworthy localization of nuanced video sentiment signals.
• Abstract（参考訳）: ビデオベースのマルチモーダル感情分析(MSA)は、人間の話すビデオのテキスト、音声、画像シーケンスからの情報を扱う必要があるが、現在の方法はタスク認識とモダリティを統合するのに失敗することが多い。 ほとんどのモデルは、ビデオの感情予測を一つのタスクとして扱い、その日常性を見越し、融合戦略は、様々に独特でシナジー的な手がかりを捉えるのに苦労する。 これらの制約に対処するために、MSAを正規回帰問題として再定義し、極性認識と強度予測に分解することで、分割・対数的な視点を採用する。 情報理論によって駆動されるMixture-of-Bottleneck(MoB)フレームワークを導入する。 情報ボトルネックの学習により、各専門家は冗長性とノイズをフィルタリングしながら、コンパクトでタスク関連のある表現を学習する。 マルチモーダル・ボトルネック・ルーティング・フュージョン・モジュールは、これらの専門家の潜伏者をハードマイニング戦略で融合させ、通常の感情空間における予測を導く。 4つのMSAデータセットと4つの言語モデルに対する大規模な実験により、MoBは様々なモダリティから情報伝達潜伏剤を効果的に利用し、一般的な感情構造を捉えていることが示された。 パフォーマンスの向上に加えて、MoBは細粒度内およびモード間ダイナミクスを包括的にキャプチャし、ニュアンス付きビデオ感情信号のより信頼性の高いローカライズを可能にする。

関連論文リスト

• MultiHateLoc: Towards Temporal Localisation of Multimodal Hate Content in Online Videos [22.175314789730667]
  MultiHateLocは、弱教師付きマルチモーダルヘイトローカライゼーションのためのフレームワークである。 微粒で解釈可能なフレームレベルの予測を生成する。 HateMMとMultiHateClipの実験により,本手法がローカライゼーションタスクにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-12-11T08:18:22Z)
• Towards General Modality Translation with Contrastive and Predictive Latent Diffusion Bridge [16.958159611661813]
  Latent Denoising Diffusion Bridge Model (LDDBM)は、モーダル翻訳のための汎用フレームワークである。 共用ラテント空間で演算することにより、任意のモード間のブリッジを、整列次元を必要とせずに学習する。 提案手法は任意のモダリティペアをサポートし,マルチビューから3次元形状生成,画像超解像,マルチビューシーン合成など,多様なMTタスクに強く依存する。
  論文  参考訳（メタデータ） (2025-10-23T17:59:54Z)
• Towards Unified Multimodal Misinformation Detection in Social Media: A Benchmark Dataset and Baseline [56.790045049514326]
  詐欺の2つの主要な形態は、人造誤報とAI生成コンテンツである。 両形態の偽造を扱うためのフレームワークであるUMFDet(Unified Multimodal Fake Content Detection)を提案する。 UMFDetは、両方の誤情報型に対して堅牢で一貫したパフォーマンスを実現し、特殊ベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-09-30T09:26:32Z)
• Asynchronous Multimodal Video Sequence Fusion via Learning Modality-Exclusive and -Agnostic Representations [19.731611716111566]
  本稿では,モダリティ学習のためのマルチモーダル融合手法を提案する。 我々は、モーダル内の信頼性のあるコンテキストダイナミクスをキャプチャする予測的自己アテンションモジュールを導入する。 階層的クロスモーダルアテンションモジュールは、モダリティ間の価値ある要素相関を探索するために設計されている。 両識別器戦略が提示され、異なる表現を敵対的に生成することを保証する。
  論文  参考訳（メタデータ） (2024-07-06T04:36:48Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Pre-training Contextualized World Models with In-the-wild Videos for Reinforcement Learning [54.67880602409801]
  本稿では,視覚制御タスクの学習を効率的に行うために,Wild 動画を多用した事前学習型世界モデルの課題について検討する。 本稿では、コンテキストと動的モデリングを明確に分離したContextualized World Models(ContextWM)を紹介する。 実験により,ContextWMを内蔵したWildビデオ事前学習は,モデルベース強化学習のサンプル効率を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-05-29T14:29:12Z)
• MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis [48.776247141839875]
  本稿では,2つの異なる部分空間に各モダリティを投影する新しいフレームワーク MISA を提案する。 最初の部分空間はモダリティ不変(modality-invariant)であり、モダリティにまたがる表現はその共通点を学び、モダリティギャップを減少させる。 一般的な感情分析ベンチマークであるMOSIとMOSEIの実験は、最先端モデルよりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:13:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。