論文の概要: EmoAgent-R1: Towards Multimodal Emotion Understanding with Reinforcement Learning-based Dynamic Agent Specialization

• arxiv url: http://arxiv.org/abs/2607.21013v2
• Date: Sat, 25 Jul 2026 07:42:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 12:52:43.784039
• Title: EmoAgent-R1: Towards Multimodal Emotion Understanding with Reinforcement Learning-based Dynamic Agent Specialization
• Title（参考訳）: EmoAgent-R1:強化学習に基づく動的エージェントスペシャライゼーションによるマルチモーダル感情理解を目指して
• Abstract要約: 本稿では,強化学習に基づく動的エージェント専門化を伴うMLLMの感情認識,推論,能力の最適化を目的とした,強化学習に基づく動的エージェントフレームワーク(textbfEmoAgent-R1)を提案する。 マルチモーダル感情認識ベンチマークの実験は、より強い感情推論性能と最適化安定性の向上におけるEmoAgent-R1の優位性を実証している。
• 参考スコア（独自算出の注目度）: 14.12747683387614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) have achieved impressive performance in multimodal emotion recognition (MER) tasks and lifted MER to a new level that is complex emotion understanding with advanced video understanding abilities and natural language description. However, existing MLLM-based methods often use a fixed prompt to perceive the emotions, ignoring the dynamicity and complexity of the emotion source in the multimodal inputs. To address these issues, we propose a novel Reinforcement Learning-based Dynamic Agent Specialization framework (\textbf{EmoAgent-R1}) to optimize the emotion recognition, reasoning, and generalization abilities of an MLLM with dynamic agent specialization based on reinforcement learning. Specifically, we first adopt a cold start strategy to endow an MLLM with preliminary emotion recognition, reasoning, and agent routing ability by training with synthetic answer-conditioned chain-of-thought data and agent routing data. Then, we further train the MLLM with reinforcement learning to perceive emotions in a two-step agentic workflow with agent selection and agent specialization. To effectively train EmoAgent-R1, we propose a novel Progressive Group-Relative Policy Optimization (P-GRPO) to combine group-based relative advantages with a PMI-inspired progressive token-level modulation to transform sparse rewards into fine-grained learning signals, mitigating the coarse-grained uniform credit assignment issue in GRPO. Extensive experiments on MER benchmarks demonstrate the superiority of our EmoAgent-R1 in stronger emotion reasoning performance and improved optimization stability.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は、マルチモーダル感情認識(MER)タスクにおいて印象的なパフォーマンスを達成し、MERを高度な映像理解能力と自然言語記述を備えた複雑な感情理解の新しいレベルに引き上げた。 しかし、既存のMLLMベースの手法では、感情を知覚するために固定的なプロンプトを使うことが多く、マルチモーダル入力における感情源の動的性と複雑さを無視している。 これらの課題に対処するために,強化学習に基づく動的エージェント特殊化フレームワーク(\textbf{EmoAgent-R1})を提案する。 具体的には、まず、予備的な感情認識、推論、エージェントルーティング能力を備えたMLLMを、合成回答条件付き連鎖連鎖データとエージェントルーティングデータを用いて訓練することで、コールドスタート戦略を採用する。 さらに、エージェント選択とエージェント特殊化を伴う2段階のエージェントワークフローにおいて、感情を知覚する強化学習を用いてMLLMをさらに訓練する。 EmoAgent-R1を効果的に訓練するために、グループベースの相対的優位性とPMIにインスパイアされたプログレッシブトークンレベルの変調を組み合わせ、スパース報酬を微粒な学習信号に変換する新しいプログレッシブグループ相対ポリシー最適化(P-GRPO)を提案する。 MERベンチマークの大規模な実験は、より強い感情推論性能と最適化安定性の改善におけるEmoAgent-R1の優位性を実証している。

関連論文リスト

• A Survey on Agentic Multimodal Large Language Models [84.18778056010629]
  エージェントマルチモーダル大言語モデル(Agentic MLLMs)に関する総合的な調査を行う。 我々は,エージェントMLLMの新たなパラダイムを探求し,その概念的基盤を明確にし,従来のMLLMエージェントとの特徴を区別する。 コミュニティのためのこの分野の研究をさらに加速するため、エージェントMLLMを開発するためのオープンソースのトレーニングフレームワーク、トレーニングおよび評価データセットをコンパイルする。
  論文  参考訳（メタデータ） (2025-10-13T04:07:01Z)
• MME-Emotion: A Holistic Evaluation Benchmark for Emotional Intelligence in Multimodal Large Language Models [108.61337743051483]
  MME-Emotionは,MLLMの感情的理解と推論能力の両方を評価するシステムベンチマークである。 MME-Emotionには6000以上のキュレートされたビデオクリップとタスク固有の質問回答(QA)ペアが含まれており、8つの感情的なタスクを定式化するための広いシナリオにまたがっている。 マルチエージェントシステムフレームワークを通じて分析された、感情認識と推論のためのハイブリッドメトリクスを備えた総合評価スイートが組み込まれている。
  論文  参考訳（メタデータ） (2025-08-11T03:14:55Z)
• EmoDebt: Bayesian-Optimized Emotional Intelligence for Strategic Agent-to-Agent Debt Recovery [65.30120701878582]
  大規模言語モデル(LLM)エージェントは、負債収集のような感情に敏感なドメインの悪用に対して脆弱である。 EmoDebtは、ネゴシエーションにおける感情を表現するモデルの能力を、シーケンシャルな意思決定問題として再設計する感情インテリジェンスエンジンである。 EmoDebtは重要な戦略的堅牢性を実現し、非適応性と感情に依存しないベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-03-27T01:41:34Z)
• ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning [53.817538122688944]
  Reinforced Meta-thinking Agents (ReMA) を導入し,Large Language Models (LLMs) の推論からメタ思考行動を求める。 ReMAは、推論プロセスを2つの階層的なエージェントに分解する。戦略上の監視と計画を生成するハイレベルなメタ思考エージェントと、詳細な実行のための低レベルな推論エージェントである。 単ターン実験による実験結果から、ReMAは複雑な推論タスクにおいて単エージェントRLベースラインよりも優れることが示された。
  論文  参考訳（メタデータ） (2025-03-12T16:05:31Z)
• Large Language Models as Theory of Mind Aware Generative Agents with Counterfactual Reflection [31.38516078163367]
  ToM-agentは、オープンドメインの会話相互作用において、LLMベースの生成エージェントがToMをシミュレートできるように設計されている。 ToM-Adntは、精神状態に対するエージェントの認識のエミュレーションを促進するため、精神状態からの信頼を解き放つ。 以上の結果から,ToM-agentは,意味的情緒的支援や意思決定に限らず,相手の行動の根底にある要因を把握できることが示唆された。
  論文  参考訳（メタデータ） (2025-01-26T00:32:38Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Rethinking ChatGPT's Success: Usability and Cognitive Behaviors Enabled by Auto-regressive LLMs' Prompting [5.344199202349884]
  本研究では,2種類の大規模言語モデルと6種類のタスク固有チャネルにおけるモーダル性の構造を分析した。 本研究では,LLMにおける多様な認知行動の刺激について,自由形テキストと言語文脈の導入を通して検討する。
  論文  参考訳（メタデータ） (2024-05-17T00:19:41Z)
• Agent-Pro: Learning to Evolve via Policy-Level Reflection and Optimization [53.510942601223626]
  大規模言語モデル(LLM)は多様なタスクに対して堅牢な問題解決能力を示す。 これらのタスクソルバは、タスクルールを通知し、行動を調整するために手作業によるプロンプトを必要とする。 本稿では,ポリシーレベルのリフレクションと最適化を備えた LLM ベースのエージェントである Agent-Pro を提案する。
  論文  参考訳（メタデータ） (2024-02-27T15:09:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。