論文の概要: CASE: Confusion-Aware Skill Evolution for Frozen Multimodal Emotion Models
- arxiv url: http://arxiv.org/abs/2610.32481v1
- Date: Fri, 23 Oct 2026 10:50:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.500087
- Title: CASE: Confusion-Aware Skill Evolution for Frozen Multimodal Emotion Models
- Title(参考訳): 凍結型マルチモーダル感情モデルにおけるコンフュージョン・アウェアスキルの進化
- Abstract要約: マルチモーダル大言語モデル(MLLM)は、実質的に進歩したマルチモーダル感情認識(MER)を持つ
既存のアプローチでは、大域的なパラメータ適応を通じてこれらのエラーに対処し、混乱補正をコストがかかり柔軟に行うのが一般的である。
本稿では,MER のためのエージェントスキルフレームワークである Confusion-Aware Skill Evolution (CASE) を提案する。
- 参考スコア(独自算出の注目度): 9.48198245279839
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal large language models (MLLMs) have substantially advanced Multimodal Emotion Recognition (MER) by enabling fine-grained emotion understanding through reasoning over multimodal evidence. However, they still exhibit systematic confusion between semantically adjacent emotions with highly overlapping multimodal cues. Existing approaches typically address these errors through global parameter adaptation, making confusion correction costly and inflexible. We instead observe that emotion confusion is highly localized and therefore better addressed through reusable pair-specific expertise. Building on this insight, we propose Confusion-Aware Skill Evolution (CASE), the first agent-skill framework for MER. CASE maintains a sparse, self-evolving library of pair-specific EmotionSkills that externalize affective expertise from model parameters, enabling the learned expertise to be continuously refined and readily transferred across diverse frozen MLLM backbones. During inference, CASE dynamically retrieves the appropriate EmotionSkill to reinforce boundary-aware reasoning while keeping the MLLM backbone frozen. Extensive experiments on CA-MER, DFEW, and EMER demonstrate the effectiveness and transferability of CASE across both general-purpose and emotion-specialized MLLMs. Notably, CASE improves the average accuracy of Qwen3-VL-8B on the CA-MER benchmark from 46.80% to 59.13%, while achieving consistent gains across MLLMs.
- Abstract(参考訳): MLLM(Multimodal large language model)は、マルチモーダル証拠に対する推論を通じて、きめ細かい感情理解を可能にすることで、かなり高度なマルチモーダル感情認識(MER)を持つ。
しかし、非常に重なり合うマルチモーダルな手がかりを持つ意味的に隣接した感情の間には、体系的な混乱が見られる。
既存のアプローチでは、大域的なパラメータ適応を通じてこれらのエラーに対処し、混乱補正をコストがかかり柔軟に行うのが一般的である。
その代わり、感情の混乱は高度に局所化され、再利用可能なペア固有の専門知識によって対処される。
この知見に基づいて,MER のためのエージェントスキルフレームワークである Confusion-Aware Skill Evolution (CASE) を提案する。
CASEは、モデルパラメータから感情的な専門知識を外部化する、ペア固有の感情スキルのスパースで自己進化的なライブラリを保持しており、学習された専門知識を継続的に洗練し、多様な冷凍MLLMバックボーン間で容易に移行することができる。
推論中、CASEはMLLMバックボーンを凍結させながら境界認識推論を強化するために適切な感情スキルを動的に回収する。
CA-MER, DFEW, EMERの広範囲にわたる実験により, 汎用的および感情特異的MLLMのCASEの有効性と伝達性を示した。
特にCASEは、CA-MERベンチマークにおけるQwen3-VL-8Bの平均精度を46.80%から59.13%に改善し、MLLM全体で一貫した利得を達成する。
関連論文リスト
- EmoMM: Benchmarking and Steering MLLM for Multimodal Emotion Recognition under Conflict and Missingness [17.292747703126796]
EmoMMは、モダリティの整合性、矛盾、欠落したサブセットを特徴とする包括的なベンチマークである。
本稿では,モダリティ・コンフリクトを検出し,推論時のアテンション・ステアリングを実行する軽量な機構である,コンフリクト対応ヘッドレベル・アテンション・ステアリング(CHASE)を提案する。
論文 参考訳(メタデータ) (2026-05-01T18:35:49Z) - EmoCaliber: Advancing Reliable Visual Emotion Comprehension via Confidence Verbalization and Calibration [8.485394614072028]
Visual EmotionBench (VEC) は、感情の極性や感情のカテゴリをイメージに埋め込まれた感情的な手がかりから推測することを目的としている。
構造化推論を段階的に支援し、信頼を言葉で表現し、信頼表現を校正する3段階のトレーニングフレームワークを導入する。
EmoCaliberは、感情予測と信頼推定の両方において、既存の方法に対する全体的な優位性を実証している。
論文 参考訳(メタデータ) (2025-12-17T15:30:50Z) - Reasoning Guided Embeddings: Leveraging MLLM Reasoning for Improved Multimodal Retrieval [25.629529312687694]
マルチモーダル大言語モデル(MLLM)の生成合理的なプロセスを保存するReasoning Guided Embeddings (RGE)を提案する。
提案手法はまず,命令に条件付き構造的有理数生成を実行し,推論が展開された後に表現を抽出する。
MMEBベンチマークの実験では、推論誘導条件が非推論ベースラインよりも4.9%向上することが示された。
論文 参考訳(メタデータ) (2025-11-20T08:44:47Z) - Emotion-Coherent Reasoning for Multimodal LLMs via Emotional Rationale Verifier [53.55996102181836]
本稿では,感情関係検証器 (ERV) と説明リワードを提案する。
本手法は,対象感情と明確に一致した推論をモデルに導出する。
我々のアプローチは、説明と予測の整合性を高めるだけでなく、MLLMが感情的に一貫性があり、信頼できる対話を実現するのにも役立ちます。
論文 参考訳(メタデータ) (2025-10-27T16:40:17Z) - MME-Emotion: A Holistic Evaluation Benchmark for Emotional Intelligence in Multimodal Large Language Models [108.61337743051483]
MME-Emotionは,MLLMの感情的理解と推論能力の両方を評価するシステムベンチマークである。
MME-Emotionには6000以上のキュレートされたビデオクリップとタスク固有の質問回答(QA)ペアが含まれており、8つの感情的なタスクを定式化するための広いシナリオにまたがっている。
マルチエージェントシステムフレームワークを通じて分析された、感情認識と推論のためのハイブリッドメトリクスを備えた総合評価スイートが組み込まれている。
論文 参考訳(メタデータ) (2025-08-11T03:14:55Z) - Benchmarking Gaslighting Negation Attacks Against Multimodal Large Language Models [45.63440666848143]
MLLM(Multimodal Large Language Models)は、様々なモダリティの統合において顕著な進歩を見せている。
彼らの成功にもかかわらず、MLLMは会話の敵対的な入力に弱いままである。
我々は,最初に正しい回答を提供するモデルが,ユーザが提供する否定によってそのアウトプットを逆転するように説得される現象であるガスライティング否定攻撃について検討する。
論文 参考訳(メタデータ) (2025-01-31T10:37:48Z) - MOSSBench: Is Your Multimodal Language Model Oversensitive to Safe Queries? [70.77691645678804]
人間は認知の歪みに傾向があり、特定の刺激に対する過大な反応を引き起こす偏見のある思考パターンがある。
本稿では,高度マルチモーダル言語モデル (MLLM) が同様の傾向を示すことを示す。
既存のMLLMの過敏性を引き起こす3種類の刺激を同定する。
論文 参考訳(メタデータ) (2024-06-22T23:26:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。