論文の概要: Decoding Affective Nuances: Enhancing MLLMs via Hierarchical Emotion Reasoning and Contrastive Discriminative Pruning

• arxiv url: http://arxiv.org/abs/2609.36782v1
• Date: Tue, 29 Sep 2026 05:53:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.221188
• Title: Decoding Affective Nuances: Enhancing MLLMs via Hierarchical Emotion Reasoning and Contrastive Discriminative Pruning
• Title（参考訳）: Decoding Affective Nuances: Enhancing MLLMs through Hierarchical Emotion Reasoning and Contrastive Discriminative Pruning
• Abstract要約: マルチモーダルな大言語モデル(MLLM)は、きめ細かい視覚的証拠に基づいて、意味的に近い感情を確実に区別することは困難である。 Decoding Affective Nuances (DAN) という,トレーニング不要な推論時間最適化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 35.27164921207509
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While multimodal large language models (MLLMs) have demonstrated exceptional capabilities in objective understanding tasks, their performance in affective reasoning still falls significantly short of human standards. We attribute it to a central capability gap: MLLMs are difficult to reliably distinguish semantically proximal emotions based on fine-grained visual evidence, which could be decoupled as two limitations: 1) Insufficient Attribution. The global reasoning paradigm of conventional MLLMs severely dilutes fine-grained emotion cues, where subtle emotional states are usually implicitly encoded, thereby generating emotional misjudgments in complex scenarios. 2) Insufficient Discrimination. Existing methods could only identify regions generally associated with emotions, which fails to distinguish discriminative regions between semantically similar emotions, leading to ambiguous emotion judgements. To overcome these limitations, we present a training-free inference-time optimization framework, named Decoding Affective Nuances (DAN). Specifically, we propose a Hierarchical Emotional Reasoning Chain (HERC) that enhances the insufficient attribution by harmonizing fine-grained scene/object-level cues and performing a soft-gated reasoning. Furthermore, to discriminate between semantically proximal emotions, we design a Contrastive Discriminative Visual Pruning (CDVP), which isolates discriminative visual tokens to reason the final emotion category by computing the absolute discrepancy between the attention distributions of similar emotions. Performances on several benchmarks demonstrate that DAN significantly improves discrimination for affective nuances without consuming additional training resources, especially achieving +10.47% improvements with Qwen3-VL-8B-Instruct on WebEmo25 dataset that contains 25 fine-grained emotion categories.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は客観的理解タスクにおいて例外的な能力を示してきたが、感情的推論におけるその性能は人間の基準にかなり劣っている。 MLLMは、きめ細かい視覚的証拠に基づいて、意味的に近い感情を確実に区別するのは難しい。 1)不十分な帰属。 従来のMLLMのグローバルな推論パラダイムは、微妙な感情状態が暗黙的にコード化され、複雑なシナリオにおける感情的不偏を生じさせるような、きめ細かな感情の手がかりを著しく希釈する。 2) 差別が不十分である。 既存の方法は感情に関連する領域のみを識別することができ、それは意味的に類似した感情の区別に失敗し、曖昧な感情判断へと繋がる。 これらの制限を克服するために,Decoding Affective Nuances (DAN) という,トレーニング不要な推論時間最適化フレームワークを提案する。 具体的には、微粒なシーン/オブジェクトレベルの手がかりを調和させ、ソフトゲート推論を行うことにより、不適切な帰属性を高める階層的感情推論チェイン(HERC)を提案する。 さらに、意味的近近感情を識別するために、類似感情の注意分布の絶対差を計算することにより、識別的視覚トークンを分離し、最終的な感情カテゴリーを推論するコントラスト的識別的ビジュアルプルーニング(CDVP)を設計する。 いくつかのベンチマークのパフォーマンスは、DANが追加のトレーニングリソースを消費することなく感情的ニュアンスに対する差別を著しく改善することを示し、特に25のきめ細かい感情カテゴリを含むWebEmo25データセット上でQwen3-VL-8B-Instructで+10.47%の改善を実現している。

関連論文リスト

• DSPO: Diversity-aware Subjective Policy Optimization for Robust Emotional Reasoning [24.24310526408756]
  一般的なRLアルゴリズムは、感情推論タスクで深刻な失敗に苦しむ。 明示的な物理的対象とは異なり、感情状態は視覚的手がかりの中で深く暗黙的である。 この抽象的な性質はMLLMの視覚幻覚を悪化させ、少なくとも根拠のない感情的な証拠をもたらす。
  論文  参考訳（メタデータ） (2026-09-29T05:46:55Z)
• Adaptive Emotional Video Captioning via Affective Heterogeneous Graph Reasoning and Multi-task Joint Learning [26.623474533402575]
  本研究では,多タスク言語モデリングと異種グラフを用いた適応型ECVフレームワークであるSAGMLを提案する。 SAGMLは、カタログレベルの感情ノードと語彙レベルの感情ワードノードを含む、ソフトな感情不均一グラフを構築する。 EVCのエラー耐性とマルチ感情認識のベースラインを提供する。
  論文  参考訳（メタデータ） (2026-07-31T05:49:33Z)
• Disentangling Reasoning in Large Audio-Language Models for Ambiguous Emotion Prediction [23.80840030172631]
  我々は、曖昧な感情認識を分布的推論問題として再構成する。 LALMにおけるあいまいさ認識推論の最初の体系的研究について述べる。 IEMOCAPとCREMA-Dの実験では、SFT、DPO、GRPOのトレーニング戦略に一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-03-09T11:02:34Z)
• ADEPT: RL-Aligned Agentic Decoding of Emotion via Evidence Probing Tools -- From Consensus Learning to Ambiguity-Driven Emotion Reasoning [67.22219034602514]
  ADEPT(Agentic Decoding of Emotion via Evidence Probing Tools)は,感情認識をマルチターン探索プロセスとして再構成するフレームワークである。 ADEPTはSLLMを進化する候補感情を維持するエージェントに変換し、専用のセマンティックおよび音響探査ツールを適応的に呼び出す。 ADEPTは、ほとんどの設定において主感情の精度を向上し、微妙な感情の特徴を著しく改善することを示した。
  論文  参考訳（メタデータ） (2026-02-13T08:33:37Z)
• XEmoGPT: An Explainable Multimodal Emotion Recognition Framework with Cue-Level Perception and Reasoning [7.204821736879453]
  XEmoGPT(XEmoGPT)は感情的手がかりに対する知覚と推論の両立が可能な新しいEMERフレームワークである。 我々は,XEmoGPTにマルチモーダルな感情的手がかりを推論する方法を教えるために,大規模なデータセットEmoCueを構築した。 実験結果から,XEmoGPTは感情的キュー知覚と推論の両方において強い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-02-05T09:58:41Z)
• MME-Emotion: A Holistic Evaluation Benchmark for Emotional Intelligence in Multimodal Large Language Models [108.61337743051483]
  MME-Emotionは,MLLMの感情的理解と推論能力の両方を評価するシステムベンチマークである。 MME-Emotionには6000以上のキュレートされたビデオクリップとタスク固有の質問回答(QA)ペアが含まれており、8つの感情的なタスクを定式化するための広いシナリオにまたがっている。 マルチエージェントシステムフレームワークを通じて分析された、感情認識と推論のためのハイブリッドメトリクスを備えた総合評価スイートが組み込まれている。
  論文  参考訳（メタデータ） (2025-08-11T03:14:55Z)
• UDDETTS: Unifying Discrete and Dimensional Emotions for Controllable Emotional Text-to-Speech [61.989360995528905]
  制御可能な感情的TTSのための離散的感情と次元的感情を統一する普遍的なフレームワークであるUDDETTSを提案する。 このモデルは、次元的感情記述のための解釈可能なArousal-Dominance-Valence(ADV)空間を導入し、離散的な感情ラベルまたは非線形に定量化されたADV値によって駆動される感情制御をサポートする。 実験の結果, UDDETTSは3次元の線形感情制御を実現し, エンドツーエンドの感情音声合成能力に優れていた。
  論文  参考訳（メタデータ） (2025-05-15T12:57:19Z)
• Disentangle Identity, Cooperate Emotion: Correlation-Aware Emotional Talking Portrait Generation [63.94836524433559]
  DICE-Talkは、感情と同一性を切り離し、類似した特徴を持つ感情を協調するフレームワークである。 我々は、モーダル・アテンションを通して、音声と視覚の感情の手がかりを共同でモデル化するアンタングル型感情埋め込み装置を開発した。 次に,学習可能な感情バンクを用いた相関強化感情調和モジュールを提案する。 第3に、拡散過程における感情の一貫性を強制する感情識別目標を設計する。
  論文  参考訳（メタデータ） (2025-04-25T05:28:21Z)
• A Circular-Structured Representation for Visual Emotion Distribution Learning [82.89776298753661]
  視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。 具体的には、まず感情圏を構築し、その内にある感情状態を統一する。 提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
  論文  参考訳（メタデータ） (2021-06-23T14:53:27Z)
• SpanEmo: Casting Multi-label Emotion Classification as Span-prediction [15.41237087996244]
  マルチラベル感情分類をスパンプレディションとした新しいモデル「SpanEmo」を提案する。 入力文中の複数の共存感情をモデル化することに焦点を当てた損失関数を導入する。 SemEval2018マルチラベル感情データを3つの言語セットで実験した結果,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-01-25T12:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。