論文の概要: The Easy, the Hard, and the Learnable: Confidence and Difficulty-Adaptive Policy Optimization for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2606.07950v1
• Date: Sat, 06 Jun 2026 02:51:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.578235
• Title: The Easy, the Hard, and the Learnable: Confidence and Difficulty-Adaptive Policy Optimization for LLM Reasoning
• Title（参考訳）: LLM推論のための信頼性と難易度適応型政策最適化
• Authors: Zhanke Zhou, Xiangyu Lu, Chentao Cao, Brando Miranda, Tongliang Liu, Bo Han, Sanmi Koyejo,
• Abstract要約: GRPOスタイルのトレーニングは、一様サンプリングと重み付けによって、簡単でハードで学習しやすい質問を扱います。 信頼性と難易度を考慮した政策最適化(CoDaPO)を提案する。 12のベンチマークで、CoDaPOは既存のRL法よりも常に精度を向上する。
• 参考スコア（独自算出の注目度）: 74.8743478567224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RL with verifiable rewards can substantially improve LLM reasoning, yet standard GRPO-style training often treats easy, hard, and learnable questions alike through uniform sampling and weighting, leading to inefficient compute allocation. We study GRPO by tracking token log-probabilities, group-normalized advantages, and the induced token-level update weights. This reveals three recurring dynamics as training proceeds: (1) confidence inflation, (2) advantage contraction, and (3) hierarchical convergence. These findings suggest that the utility of each update depends strongly on both question difficulty and the model's current competence. Motivated by this, we propose Confidence and Difficulty-adaptive Policy Optimization (CoDaPO), which assigns each question a bounded value from rollout confidence and empirical difficulty. CoDaPO then uses this value to reweight policy updates and resample high-value learnable questions within mini-batches, thereby increasing discovery within the learnable band under a fixed compute budget. Across twelve benchmarks, CoDaPO consistently improves accuracy over existing RL methods. Our code is publicly available at https://github.com/tmlr-group/CoDaPO.
• Abstract（参考訳）: 検証可能な報酬を持つRLは、LLM推論を大幅に改善するが、標準的なGRPOスタイルのトレーニングは、一様サンプリングと重み付けによって、簡単でハードで学習しやすい質問を扱い、非効率な計算割り当てをもたらす。 我々は,トークンログ確率,グループ正規化の利点,トークンレベルの更新重み付けによるGRPOについて検討した。 トレーニングが進むにつれて、(1)信頼インフレーション、(2)有利な収縮、(3)階層的な収束の3つの繰り返しのダイナミクスが明らかになる。 これらの結果から,各更新の有用性は,質問の難易度とモデルの現在の能力に大きく依存していることが示唆された。 そこで我々は, 信頼性と難易度を考慮した政策最適化(CoDaPO)を提案し, それぞれの質問に対して, ロールアウト信頼度と経験的困難度から有界価値を割り当てる。 CoDaPOはこの値を使用して、ポリシー更新をリウェイトし、ミニバッチ内で高価値の学習可能な質問を再サンプリングすることで、一定の計算予算の下で学習可能なバンド内での発見を増大させる。 12のベンチマークで、CoDaPOは既存のRL法よりも常に精度を向上する。 私たちのコードはhttps://github.com/tmlr-group/CoDaPO.comで公開されています。

関連論文リスト

• TIPS: Turn-Level Information-Potential Reward Shaping for Search-Augmented LLMs [29.64044161352673]
  TIPS(Turn-Level Information Potential Reward Shaping)を紹介する。 TIPSは、教師モデルの下で正しい回答が増加する可能性に基づいて、各推論とツールコールセグメントに高密度でターンレベルの報酬を割り当てるフレームワークである。 TIPSはGRPO/PPOベースラインを一貫して上回り、トレーニング安定性を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-03-11T17:45:14Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• CoBA-RL: Capability-Oriented Budget Allocation for Reinforcement Learning in LLMs [31.371566320424552]
  CoBA-RLは、モデルの進化能力に基づいて、ロールアウト予算を適応的に割り当てるように設計された強化学習アルゴリズムである。 我々のアプローチは、探索と搾取の間のトレードオフを効果的に編成し、一貫した一般化の改善を提供する。
  論文  参考訳（メタデータ） (2026-02-03T03:14:36Z)
• HeaPA: Difficulty-Aware Heap Sampling and On-Policy Query Augmentation for LLM Reinforcement Learning [78.12979615107564]
  HeaPAは精度を継続的に改善し、少ない計算で目標性能に達する。 分析の結果、これらの上昇はフロンティアに焦点を当てたサンプリングとオン政治プールの成長によるものであることが示唆された。
  論文  参考訳（メタデータ） (2026-01-30T01:31:17Z)
• The Peril of Preference: Why GRPO fails on Ordinal Rewards [0.8937905773981699]
  我々は、この欠陥を解決する新しい定式化であるCoRPO(Correctness Relative Policy Optimization)を導入する。 CoRPOは適応ベースラインを使用し、最小品質の閾値を強制する。 コード検証タスクにおいて、CoRPOを実証的に検証し、より安定した収束とドメイン外一般化を実証する。
  論文  参考訳（メタデータ） (2025-11-06T15:12:50Z)
• Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
  検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。 ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。 PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
  論文  参考訳（メタデータ） (2025-04-18T17:49:55Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。