論文の概要: Multimodal Adaptive Expert Selection with Text Routing and Ordinal Prototype Optimization for Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2608.30726v1
• Date: Mon, 31 Aug 2026 12:59:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.398227
• Title: Multimodal Adaptive Expert Selection with Text Routing and Ordinal Prototype Optimization for Sentiment Analysis
• Title（参考訳）: テキストルーティングによるマルチモーダル適応エキスパート選択と知覚分析のための正規プロトタイプ最適化
• Abstract要約: マルチモーダル感性分析(MSA)は, 言語内容と非言語的手がかりを統合することで, 複雑な感情状態の解読を目的とする。 最近の遠絡型アプローチはこの分野を前進させたが、そのポテンシャルは2つの方法論的課題によって妨げられている。 テキストルーティングと正規プロトタイプ最適化によるマルチモーダル適応エキスパート選択(MAESTRO)を導入する。 静的融合とは異なり、このモジュールは言語コンテキストをルーティング信号として利用し、特定の音声・視覚の専門家を動的に活性化する。
• 参考スコア（独自算出の注目度）: 2.3500677765052296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Sentiment Analysis (MSA) is a fundamental component of affective computing that aims to decipher complex emotional states by integrating verbal content with non-verbal cues including vocal intonation and facial micro-expressions. While recent disentanglement-based approaches have advanced the field, their potential is hindered by two methodological challenges. First, static computation graphs process all samples indiscriminately regardless of semantic complexity, which leads to suboptimal representation for diverse emotional expressions and contextual scenarios. Second, generic contrastive objectives often neglect the intrinsic ordinal hierarchy of sentiment intensities. To systematically address these limitations, we introduce Multimodal Adaptive Expert Selection with Text Routing and Ordinal prototype optimization (MAESTRO), a novel framework designed to dynamically orchestrate and refine multimodal representations. Drawing inspiration from an orchestra conductor, we design a Text-Guided Hybrid Mixture-of-Experts (MoE) mechanism. Unlike static fusion, this module utilizes linguistic context as a routing signal to dynamically activate specific audio-visual experts, thereby resolving cross-modal ambiguity through adaptive feature enhancement. Furthermore, to capture fine-grained sentiment gradations, we propose an Ordinal-aware Prototype Contrastive Learning (O-PCL). By incorporating distance-based penalties into the prototype learning objective, O-PCL enforces a structured latent space that preserves the natural order of emotion. Extensive experiments on the CMU-MOSI and CMU-MOSEI benchmarks demonstrate that MAESTRO achieves state-of-the-art performance, and qualitative analysis further confirms the interpretability of our dynamic routing paradigm.
• Abstract（参考訳）: マルチモーダル・センティメント・アナリティクス(MSA)は、音声のイントネーションや顔の微小表現を含む非言語的手がかりに言語内容を統合することで、複雑な感情状態の解読を目的とした感情コンピューティングの基本的な構成要素である。 最近の非絡み合いに基づくアプローチは分野を前進させてきたが、そのポテンシャルは2つの方法論的課題によって妨げられている。 まず、静的な計算グラフは、意味的な複雑さに関わらず、全てのサンプルを無差別に処理し、多様な感情表現や文脈シナリオに対して最適な表現をもたらす。 第二に、一般的な対照的な目的は、感情強度の本質的な順序階層を無視することが多い。 これらの制約を体系的に解決するために、テキストルーティングと正規プロトタイプ最適化によるマルチモーダル適応エキスパート選択(MAESTRO)を導入し、マルチモーダル表現を動的にオーケストレーションし洗練する新しいフレームワークを提案する。 オーケストラ指揮者のインスピレーションを得て,テキストガイド型ハイブリッドミキサー・オブ・エクササイズ(MoE)機構を設計した。 静的な融合とは異なり、このモジュールは言語コンテキストをルーティング信号として利用し、特定の音声・視覚の専門家を動的に活性化し、適応的な特徴拡張を通じてモーダル間のあいまいさを解消する。 さらに,感情の微粒化を捉えるために,O-PCL(Ordinal-aware Prototype Contrastive Learning)を提案する。 距離に基づくペナルティをプロトタイプ学習の目的に組み込むことで、O-PCLは自然な感情の順序を保つ構造的潜在空間を強制する。 CMU-MOSI と CMU-MOSEI ベンチマークの大規模な実験により,MAESTRO が最先端性能を達成し,定性解析により動的ルーティングパラダイムの解釈可能性をさらに確認した。

関連論文リスト

• SuppreSensing: Expert-Guided Feature Recalibration and Discrepancy Augmentation for Multimodal Object Detection [19.446402308279676]
  本稿では,多モード融合を選択的協調プロセスとして再構成するSuppreSensingを提案する。 SupreSensingは、最初にExpert-driven Multimodal Feature Recalibration (EMFR)モジュールを設計した。 モーダリティ固有の拡張戦略を用いて、特定のモーダリティの特徴を属性とする。 DroneVehicleとVEDAIデータセットの実験は、SuppreSensingが最先端の検出パフォーマンスを達成することを実証している。
  論文  参考訳（メタデータ） (2026-08-21T10:06:00Z)
• In-Context Model Predictive Generation: Open-Vocabulary Motion Synthesis from Language Models to Physics [109.99871326497333]
  In-Context Model Predictive Generation (ICMPG)は、言語モデル計画と推論時の物理的フィードバックを統合するフレームワークである。 ICMPGは2つのモジュールでモデル予測制御(MPC)のようなプロセスとして運動合成を再構成する。
  論文  参考訳（メタデータ） (2026-06-25T12:50:33Z)
• Explicit Representation Alignment for Multimodal Sentiment Analysis [17.25685888421759]
  マルチモーダル感情分析は、テキストや画像などの異質なモダリティを共同でモデル化することで、人間の感情と感情を理解することを目的としている。 実効マルチモーダル学習の鍵となるボトルネックとして,独立に事前訓練されたモダリティエンコーダ間の表現の不整合を同定する。 視覚的コンテンツを構造化されたテキスト記述に変換するために視覚言語モデル(VLM)を利用する統合マルチモーダル感情分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-08T07:43:52Z)
• A Unified Framework for Emotion Recognition and Sentiment Analysis via Expert-Guided Multimodal Fusion with Large Language Models [16.195689085967004]
  本稿では,エキスパート誘導型マルチモーダル融合と大規模言語モデルを組み合わせた統合フレームワーク EGMF を提案する。 提案手法では, 微妙な感情的ニュアンスに対するきめ細かなローカルエキスパート, クロスモーダルな関係に対する意味的相関の専門家, 長距離依存に対するグローバルなコンテキストエキスパートの3つの専門的ネットワークを特徴とする。
  論文  参考訳（メタデータ） (2026-01-12T14:21:32Z)
• E^2-LLM: Bridging Neural Signals and Interpretable Affective Analysis [54.763420895859035]
  脳波からの感情分析のための最初のMLLMフレームワークであるELLM2-EEG-to-Emotion Large Language Modelを提案する。 ELLMは学習可能なプロジェクション層を通じて、トレーニング済みのEEGエンコーダとQベースのLLMを統合し、マルチステージのトレーニングパイプラインを使用する。 7つの感情カテゴリーにまたがるデータセット実験により, ELLM2-EEG-to-Emotion Large Language Modelは感情分類において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-01-11T13:21:20Z)
• Improving Multimodal Sentiment Analysis via Modality Optimization and Dynamic Primary Modality Selection [54.10252086842123]
  マルチモーダル・センティメント・アナリティクス(MSA)は、ビデオにおける言語、音響、視覚データから感情を予測することを目的としている。 本稿では,モーダリティ最適化と動的一次モーダリティ選択フレームワーク(MODS)を提案する。 4つのベンチマークデータセットの実験では、MODSが最先端の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2025-11-09T11:13:32Z)
• UniAlignment: Semantic Alignment for Unified Image Generation, Understanding, Manipulation and Perception [54.53657134205492]
  UniAlignmentは単一の拡散変換器内での統一されたマルチモーダル生成フレームワークである。 固有モード意味アライメントとクロスモーダル意味アライメントの両方を組み込むことで、モデルのクロスモーダル一貫性と命令追従ロバスト性を高める。 本稿では、複雑なテキスト命令下でのマルチモーダルなセマンティック一貫性を評価するために設計された新しいベンチマークであるSemGen-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T09:11:30Z)
• Structures Meet Semantics: Multimodal Fusion via Graph Contrastive Learning [8.187594234413568]
  SSU(Structure-Semantic Unifier)と呼ばれる新しいフレームワークを提案する。 SSUは、モダリティ固有の構造情報と、拡張マルチモーダル表現のためのクロスモーダルセマンティックグラウンドを統合している。 SSUは一貫して最先端の性能を実現し、計算オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2025-08-24T13:44:54Z)
• Rethinking Multimodal Sentiment Analysis: A High-Accuracy, Simplified Fusion Architecture [2.3272964989267626]
  本稿では,発話レベルの感情分類に適した,軽量かつ効果的な融合型ディープラーニングモデルを提案する。 我々のアプローチは、注意深く機能エンジニアリングとモジュール設計を行うことで、より単純な融合戦略がより複雑なモデルより優れているか、あるいは一致しているかを示します。
  論文  参考訳（メタデータ） (2025-05-05T02:31:11Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Support-set based Multi-modal Representation Enhancement for Video Captioning [121.70886789958799]
  サンプル間で共有されるセマンティックサブ空間において、リッチな情報をマイニングするためのサポートセットベースのマルチモーダル表現拡張(SMRE)モデルを提案する。 具体的には、サンプル間の基礎となる関係を学習し、意味的関連視覚要素を得るためのサポートセットを構築するためのサポートセット構築(SC)モジュールを提案する。 本研究では,SST(Semantic Space Transformation)モジュールを設計し,相対距離を制約し,マルチモーダルインタラクションを自己管理的に管理する。
  論文  参考訳（メタデータ） (2022-05-19T03:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。