論文の概要: Surprising Success, Repeated Failure: Entropy-Guided Credit Assignment for Exploration in LLM Reasoning

• arxiv url: http://arxiv.org/abs/2609.33781v1
• Date: Sun, 27 Sep 2026 17:23:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 16:47:16.869395
• Title: Surprising Success, Repeated Failure: Entropy-Guided Credit Assignment for Exploration in LLM Reasoning
• Title（参考訳）: 意外な成功, 繰り返し失敗: LLM推論におけるエントロピー誘導型クレジットアサインメント
• Abstract要約: 本稿では、成功と失敗を非対称に扱うエントロピー誘導型信用割当手法であるエントロピーアドバンテージポリシー最適化(EAPO)を紹介する。 不確実性の下での成功は再現不可能であり、確実な失敗は再帰する傾向にあるという観察に動機付けられ、EAPOは、驚くべき成功を補強し、繰り返し失敗を正すために、応答優位のサインで正常化された政策エントロピーを定めている。 トークン間でレスポンスのアドバンテージを再分配することで、EAPOは、追加の監督なしに既存のロールアウトシグナルから直接トークンレベルのクレジットを導き出す。
• 参考スコア（独自算出の注目度）: 63.752287291668786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) enhances reasoning in large language models (LLMs) through outcome-level feedback, yet recent approaches to finer-grained credit assignment often require auxiliary models, additional sampling, or privileged information. Although policy entropy provides a readily available signal, prioritizing uncertain positions under both reinforcement and penalization concentrates penalties where failed responses still retain alternatives for recovery, which can suppress opportunities for exploration. To address this, we introduce Entropic Advantage Policy Optimization (EAPO), an entropy-guided credit assignment method that treats success and failure asymmetrically. Specifically, motivated by the observation that success under uncertainty is less repeatable while confident failures tend to recur, EAPO couples normalized policy entropy with the sign of the response advantage to reinforce surprising success and correct repeated failure. It assigns stronger reinforcement to high-entropy decisions in successful responses and stronger penalties to low-entropy decisions in failed responses, while attenuating penalties at uncertain positions to preserve opportunities for recovery. By redistributing the response advantage across tokens, EAPO derives token-level credit directly from existing rollout signals without additional supervision. We validate EAPO on a range of reasoning tasks across both base and reasoning backbones, demonstrating that it achieves the best overall performance. We further show that EAPO promotes more effective exploration, broadening problem coverage and generating more diverse candidate answers.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、結果レベルのフィードバックを通じて、大きな言語モデル(LLM)の推論を強化するが、近年では、よりきめ細かいクレジット割り当てへのアプローチは補助モデル、追加サンプリング、特権情報を必要とすることが多い。 政策のエントロピーは容易な信号を提供するが、強化と罰則の両方の下で不確実な位置を優先することは、回復のための代替手段を依然として維持している罰則に集中し、探索の機会を抑えることができる。 そこで本研究では,成功と失敗を非対称に扱うエントロピー誘導型信用割当手法である,エントロピーアドバンテージポリシー最適化(EAPO)を導入する。 具体的には、不確実性の下での成功は再現不可能であり、確実な失敗は再帰する傾向にあるという観察に動機付けられ、EAPOは、予期せぬ成功を補強し、繰り返し失敗を正すために、応答優位のサインで正規化された政策エントロピーを結合する。 成功時の高エントロピー決定に対する強い強化と、失敗時の低エントロピー決定に対する強い罰則を割り当て、一方、回復の機会を維持するために不確実な立場で罰則を弱める。 トークン間でレスポンスの優位性を再分配することで、EAPOは、追加の監督なしに既存のロールアウトシグナルから直接トークンレベルのクレジットを導き出す。 EAPOは、ベースとバックボーンの両方にわたる様々な推論タスクで検証し、最高の全体的なパフォーマンスを達成することを実証します。 さらに、EAPOはより効果的な探索を促進し、問題カバレッジを拡大し、より多様な回答を生み出すことを示します。

関連論文リスト

• BALTO: Balanced Token-Level Policy Optimization for Hallucination Mitigation [51.22170603236523]
  幻覚緩和のためのバランスドトークンレベルの政策最適化フレームワークを提案する。 BalTOはチェック可能な事実クレームを抽出し、参照コンテキストに対して検証し、トークンレベルのラベルに対するクレームレベルの判断をプロジェクトする。 ConFiQA、RAGTruth、FinLLM-Evalの実験では、BALTOは6つのモデルで最高の忠実さを達成している。
  論文  参考訳（メタデータ） (2026-06-14T16:25:59Z)
• Taming the Thinker: Conditional Entropy Shaping for Adaptive LLM Reasoning [63.36243250685778]
  Conditional Entropy Shaping (CES)はトークンレベルの応答エントロピーを動的に制御するフレームワークである。 CESは、DAPOに対する応答長を減少させながら、平均精度を継続的に改善する。
  論文  参考訳（メタデータ） (2026-05-19T04:41:51Z)
• Less Approximates More: Harmonizing Performance and Confidence Faithfulness via Hybrid Post-Training for High-Stakes Tasks [52.81286869496811]
  大規模な言語モデルは、自信を持って不正確な推論が現実世界の害を引き起こすような、ハイテイクなタスクにますますデプロイされている。 内的フィードバックからの教師なし強化学習と推論・トラス誘導型推論蒸留を併用して協調的に最適化することを提案する。 PRG方式のメトリクスを用いてRDとRLIFを適応的に重み付けするハイブリッドポストトレーニングフレームワークであるHyTuningを紹介する。
  論文  参考訳（メタデータ） (2026-04-09T16:50:11Z)
• Back to Basics: Revisiting Exploration in Reinforcement Learning for LLM Reasoning via Generative Probabilities [10.235183326885794]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLMs)における推論の強化に欠かせないパラダイムとして登場した。 我々は、この問題をサンプリング確率力学の観点から分析し、標準目的が高次様相の経路を不均等に強化することを特定する。 提案手法は,すべての応答に対する信頼度を平衡化するための新しいアドバンテージ再重み付け機構 (ARM) を提案する。
  論文  参考訳（メタデータ） (2026-02-05T04:06:55Z)
• Evidence-Augmented Policy Optimization with Reward Co-Evolution for Long-Context Reasoning [52.144281362465996]
  本稿では,強化学習を長期シナリオに適用するためのEAPO(Evidence-Augmented Policy Optimization)を提案する。 最初にEvidence-Augmented Reasoningパラダイムを確立し、Tree-Structued Evidence Smplingを介して検証する。 次に、報酬モデルがグループ相対エビデンス・リワードを計算する特殊なRLアルゴリズムを導入する。 トレーニングを通して正確な監視を維持するため、適応的リワード・ポリティ共進化機構をさらに取り入れる。
  論文  参考訳（メタデータ） (2026-01-15T11:40:57Z)
• Step Potential Advantage Estimation: Harnessing Intermediate Confidence and Correctness for Efficient Mathematical Reasoning [25.562101968892833]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデル(LLM)における長い連鎖推論を導く 既存のアプローチでは、トークンレベルのエントロピーやシーケンスレベルの長さ制御を通じてRLVRを改善するが、推論の進捗を意味的に基礎づけたステップレベルの尺度は欠如している。 本研究では,潜在的利得を増幅し,潜在的利得をペナルティ化し,飽和後のペナルティを適用してタイムリーな終了を促す,詳細な信用割当手法であるステップ電位アドバンテージ推定(SPAE)を提案する。
  論文  参考訳（メタデータ） (2026-01-07T11:36:01Z)
• ICPO: Intrinsic Confidence-Driven Group Relative Preference Optimization for Efficient Reinforcement Learning [17.98065634130798]
  固有信頼駆動型グループ相対選好最適化法(ICPO)を提案する。 ICPOは、複数の応答の相対生成確率を同一の入力プロンプトで比較することにより、各応答に対する優先優位スコアを算出する。 優先的優位性スコアは、粗大な報酬や報奨ノイズの問題を緩和するだけでなく、過度に信頼された誤りを効果的に抑制することを発見した。
  論文  参考訳（メタデータ） (2025-11-26T03:10:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。