論文の概要: EmoGavel: Grounding-Aware Reinforcement Learning with Verifiable Rewards for Multimodal Emotion Preference Learning

• arxiv url: http://arxiv.org/abs/2610.13353v1
• Date: Fri, 09 Oct 2026 10:28:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.524658
• Title: EmoGavel: Grounding-Aware Reinforcement Learning with Verifiable Rewards for Multimodal Emotion Preference Learning
• Title（参考訳）: EmoGavel:マルチモーダル感情選好学習のための検証可能なリワードを用いた接地型強化学習
• Abstract要約: EmoGavelは,マルチモーダル感情選好学習に有効な報酬を付与した,グラウンディング・アウェア強化学習フレームワークである。 EmoGavelは制御エラー構築情報を利用して、好みの予測、エラーのローカライゼーション、修復、不明な証拠回復を共同で学習する。 EmoPreferおよび制御エラー評価セットの実験は、EmoGavelが強いエラーグラウンド性能を維持しながら、自然選好予測と制御エラー判別の両方を改善していることを示している。
• 参考スコア（独自算出の注目度）: 67.7756579795553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal emotion preference learning uses pairwise comparisons to identify which open-ended emotion descriptions align more closely with human judgments. However, existing methods primarily focus on the final preference decision and provide little explicit supervision for localizing and correcting erroneous content. To address this limitation, we propose EmoGavel, a Grounding-Aware reinforcement learning framework with Verifiable rewards for multimodal Emotion preference Learning. We first introduce grounded supervised fine-tuning (Grounded SFT), which exploits controlled-error construction information to jointly learn preference prediction, error localization, repair, and missing-evidence recovery. We then optimize these verifiable outcomes with grounding-aware group relative policy optimization (GA-GRPO), combining preference-gated grounding rewards with dynamic zero-variance rescue to prioritize preference correctness and recover learning signals from all-wrong groups. Experiments on EmoPrefer and controlled-error evaluation sets show that EmoGavel improves both natural preference prediction and controlled-error discrimination while maintaining strong error-grounding performance. Our code and model checkpoints will be released once the paper is accepted.
• Abstract（参考訳）: マルチモーダル感情嗜好学習は、ペアワイズ比較を用いて、どのオープンエンド感情記述が人間の判断とより密接に一致しているかを特定する。 しかし、既存の手法は主に最終選好決定に焦点をあて、誤った内容のローカライズと修正のための明確な監督をほとんど提供しない。 この制限に対処するために,マルチモーダル感情選好学習のための検証可能な報酬を付与したグラウンディング・アウェア強化学習フレームワークであるEmoGavelを提案する。 まず、制御エラー構築情報を利用して、優先予測、エラーローカライゼーション、修復、欠陥証拠回復を共同で学習する、接地型教師付き微調整(Grounded SFT)を導入する。 次に,これら検証結果の最適化を,GA-GRPO(Gunding-Aware Group relative Policy Optimization)を用いて行い,選好条件付き接地報酬と動的ゼロ分散救済を組み合わせ,選好の正しさを優先し,全強群からの学習信号を復元する。 EmoPreferおよび制御エラー評価セットの実験は、EmoGavelが強いエラーグラウンド性能を維持しながら、自然選好予測と制御エラー判別の両方を改善していることを示している。 私たちのコードとモデルチェックポイントは、論文が受け入れられたらリリースされるでしょう。

関連論文リスト

• Neuralyzing the Trace: Selective Representation-Level Unlearning with Contrastive Sparse Autoencoders [1.3108652488669734]
  機械学習は、モデルの他の能力を維持しながら、ターゲット情報を削除することを目的としている。 より選択的に忘れられる特徴を学習するために設計された、コントラストのあるスパースオートエンコーダであるSCALPELを紹介する。 理論的には、コントラスト学習が目標選択的特徴を促進し、選択スコアが予測される背景知識摂動を制御することを示す。
  論文  参考訳（メタデータ） (2026-09-25T09:51:52Z)
• AffectOmni: RL-Verifiable People-Centric Grounded Affective Reasoning for Social and Art-Related Scenes [59.134503227559634]
  マルチモーダル大言語モデル(MLLM)は,VQAとシーン理解において高い性能を発揮する。 モデルは、マイクロ表現やボディランゲージのような人中心の手がかりを無視しながら、正しい答えを予測できる。 本稿では、感情的推論を検証可能なフレームワークであるAffect Omniを提案する。
  論文  参考訳（メタデータ） (2026-08-24T11:25:04Z)
• Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models [53.15468578562038]
  マルチモーダル大言語モデル(MLLM)のための不確実性を考慮した探索的直接参照最適化(UE-DPO)手法を提案する。 まず、与えられた画像にトークン予測を根拠にしなかったモデルの不確かさを定量化する。 次に、好ましいサンプルにおいて、視覚的に不足したトークンに対する学習のプレッシャーを高め、非推奨サンプルにおける有益な知識の過度な報酬化を緩和する。
  論文  参考訳（メタデータ） (2026-05-06T13:08:12Z)
• Search-Based Credit Assignment for Offline Preference-Based Reinforcement Learning [83.64755389431971]
  本稿では,2つのフィードバックソースを統一する検索ベースPreference Weightingスキームを提案する。 選好ラベル付き軌道における各遷移について、SPWは専門家のデモンストレーションから最もよく似た状態-作用対を探索する。 これらの重みは標準の嗜好学習をガイドするために使われ、より正確なクレジット割り当てを可能にします。
  論文  参考訳（メタデータ） (2025-08-21T07:41:45Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。