論文の概要: DEEPO: Dual-Entropy Enhanced Policy Optimization for Hallucination in MLLMs

• arxiv url: http://arxiv.org/abs/2609.28570v1
• Date: Wed, 23 Sep 2026 11:39:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.412709
• Title: DEEPO: Dual-Entropy Enhanced Policy Optimization for Hallucination in MLLMs
• Title（参考訳）: DEEPO: MLLMにおける幻覚のための二重エントロピー強化政策最適化
• Abstract要約: 強化学習(Reinforcement Learning, RL)は多モーダル大言語モデル(MLLM)における推論の高度化に広く用いられている。 我々はこれを、報酬からパラメータの更新までの、エンフチェーンの2つの弱い点にトレースする。 本稿では,信号分散正規化と勾配前処理を組み合わせた二段階拡張手法であるDEEPOを提案する。
• 参考スコア（独自算出の注目度）: 21.419893161174112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) is widely used to sharpen reasoning in multimodal large language models (MLLMs), yet its effect on hallucination is uneven. We trace this to two weak points in the \emph{correction chain} from reward to parameter update. At the rollout level, hard queries---those with high semantic entropy---frequently produce unanimously wrong sample groups, collapsing the group-relative advantage to zero exactly where hallucination risk is highest. At the optimization level, confident-but-wrong tokens are gradient-invisible: a categorical policy's expected score-gradient norm vanishes as its distribution sharpens, so the predictions that most need correction receive the weakest updates. We propose Dual-Entropy Enhanced Policy Optimization (DEEPO), a dual-stage enhancement combining signal variance regularization with gradient preconditioning: semantic-entropy-triggered expert prefixes inject grounded continuations on high-uncertainty queries, providing direct supervision and restoring advantage variance, while advantage-sign-aware Renyi preconditioning counteracts logit-level saturation so correction reaches confident errors in the operational confidence regime. Both branches improve over GRPO individually; their interaction is statistically significant on VideoMMMU---the most complex long-horizon task in our evaluation suite (+4.0$, 95\% CI [1.1, 6.9])---and additive elsewhere. DEEPO reduces hallucination while preserving accuracy and training stability.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は多モーダル大言語モデル(MLLM)における推論の高度化に広く用いられているが、幻覚に対する効果は不均一である。 我々はこれを、報酬からパラメータ更新までの「emph{correction chain}」の2つの弱い点にトレースする。 ロールアウトレベルでは、高いセマンティックエントロピーを持つハードクエリは、しばしば完全に間違ったサンプルグループを生成し、幻覚リスクが最も高いゼロにグループ相対的なアドバンテージを崩壊させる。 最適化レベルでは、自信に満ちたトークンは勾配が見えない: カテゴリー的ポリシーの期待スコアの漸進ノルムは、その分布が鋭くなるにつれて消滅するので、ほとんどの修正が必要な予測は最も弱い更新を受ける。 本稿では,信号分散正規化と勾配事前条件を併用したデュアルステージ強化手法であるDEEPOを提案する。 セマンティックエントロピートリガー付きエキスパートプレフィックスは,高不確実性クエリに対して基底的継続を注入し,直接監督と有利な分散を回復する一方で,アドバンテージサインアウェアのRenyiプリコンディショニングはロジトレベルの飽和を実現し,操作信頼体制における信頼性エラーを補正する。 両枝はGRPOよりも個別に改善し,その相互作用はビデオMMMUにおいて統計的に有意である - 評価スイート(+4.0$, 95\% CI [1.1, 6.9])において最も複雑な長軸タスクである。 DEEPOは、精度とトレーニング安定性を維持しながら幻覚を減少させる。

関連論文リスト

• The Dark Room in the Reward Channel: Dense Prediction Rewards Collapse GRPO-Trained LLM Agents -- and What Actually Works [3.040305634723913]
  群正規化RLの下では、ポテンシャルに基づく予測報酬が全てのランを退化吸収状態に駆動することを示す。 単一エピソードアブレーションは原因を和らげる -- GRPOの正規化だけを取り除くことで、破滅からベースラインパリティへと同じ報酬が変わる。 我々の中心的な洞察はこれを一般化している: z-scoring amplify は、全フェイル群が支配的である間、高密度信号の群内分散である。
  論文  参考訳（メタデータ） (2026-07-23T12:50:18Z)
• BALTO: Balanced Token-Level Policy Optimization for Hallucination Mitigation [51.22170603236523]
  幻覚緩和のためのバランスドトークンレベルの政策最適化フレームワークを提案する。 BalTOはチェック可能な事実クレームを抽出し、参照コンテキストに対して検証し、トークンレベルのラベルに対するクレームレベルの判断をプロジェクトする。 ConFiQA、RAGTruth、FinLLM-Evalの実験では、BALTOは6つのモデルで最高の忠実さを達成している。
  論文  参考訳（メタデータ） (2026-06-14T16:25:59Z)
• Beyond Uniform Token-Level Trust Region in LLM Reinforcement Learning [14.631835952085263]
  本稿では,2つのメカニズムを介して更新を有限水平ポリシー改善境界に整合させるトークンレベルのマスキングルールを提案する。 CPPOはトレーニングの安定性を高め、様々なモデルスケールでの推論精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-06-09T15:09:29Z)
• ACPO: Counteracting Likelihood Displacement in Vision-Language Alignment with Asymmetric Constraints [26.309376587678354]
  非対称制約参照最適化(ACPO)を提案する。 ACPOは動的でターゲット指向のスケーリングを好みの最適化に適用する。 本稿では,ACPOが標準DPOの選択逆劣化を効果的に逆転させることを示す。
  論文  参考訳（メタデータ） (2026-03-23T16:26:11Z)
• STAPO: Stabilizing Reinforcement Learning for LLMs by Silencing Rare Spurious Tokens [38.425692691443764]
  既存の強化学習(RL)ファインチューニング手法は、安定性を維持するためにエントロピー正則化と再重み付けに大きく依存している。 実際には、彼らはしばしば後期的なパフォーマンスの崩壊に悩まされ、推論品質の低下と不安定なトレーニングにつながります。 トレーニングの不安定性は、約0.01%の少量のトークンによって引き起こされる可能性がある。 安定かつ効果的な大規模モデル改良を促進するSTAPO(Spurious-Token-Aware Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-02-17T14:46:48Z)
• Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
  VGPOは時間次元とグループ次元の両方で値の推定を再定義する。 スパース端末の報酬を密度の高いプロセス認識値推定に変換する。 標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
  論文  参考訳（メタデータ） (2025-12-13T16:31:26Z)
• SynCast: Synergizing Contradictions in Precipitation Nowcasting via Diffusion Sequential Preference Optimization [62.958457694151384]
  本研究では,大規模な言語モデルにおける人的フィードバックからの強化学習の成功を動機として,降水量の最適化を初めて導入する。 第一段階では、フレームワークはFARを減らすことに焦点を当て、誤報を効果的に抑えるためにモデルを訓練する。
  論文  参考訳（メタデータ） (2025-10-22T16:11:22Z)
• MaxSup: Overcoming Representation Collapse in Label Smoothing [52.66247931969715]
  ラベル平滑化(LS)は、ニューラルネットワーク予測における過信を減らすために広く採用されている。 LSコンパクトは、過剰に厳密なクラスタに表現を特徴付け、クラス内の多様性を希薄にする。 正しい予測と誤予測の両方に一様正則化を適用するMax Suppression(MaxSup)を提案する。
  論文  参考訳（メタデータ） (2025-02-18T20:10:34Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。