論文の概要: RiskPO: Risk-based Policy Optimization via Verifiable Reward for LLM Post-Training

• arxiv url: http://arxiv.org/abs/2510.00911v1
• Date: Wed, 01 Oct 2025 13:53:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.595829
• Title: RiskPO: Risk-based Policy Optimization via Verifiable Reward for LLM Post-Training
• Title（参考訳）: RiskPO: LLMポストトライニングのための検証リワードによるリスクベースの政策最適化
• Authors: Tao Ren, Jinyang Jiang, Hui Yang, Wan Tian, Minhao Zou, Guanghao Li, Zishi Zhang, Qinghao Wang, Shentao Qin, Yanjun Zhao, Rui Tao, Hui Shao, Yijie Peng,
• Abstract要約: 検証可能な報酬を伴う強化学習は、大規模言語モデル(LLM)の訓練後の中心パラダイムとして浮上している。 これらの問題は、稀だが有意義な推論パスを無視しながら、高確率な出力シーケンスを過度に強調することに起因すると我々は主張する。 本稿では,古典的平均的目標を原則的リスク対策に置き換えるリスクベース政策最適化(RiskPO)を提案する。
• 参考スコア（独自算出の注目度）: 13.309653291779233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable reward has recently emerged as a central paradigm for post-training large language models (LLMs); however, prevailing mean-based methods, such as Group Relative Policy Optimization (GRPO), suffer from entropy collapse and limited reasoning gains. We argue that these issues stem from overemphasizing high-probability output sequences while neglecting rare but informative reasoning paths. To address these challenges, we propose Risk-based Policy Optimization (RiskPO), which substitutes classical mean-based objectives with principled risk measures. Specifically, we introduce a Mixed Value-at-Risk objective that integrates weighted attention over multiple regions of the reward distribution, thereby amplifying gradient signals on challenging instances and preventing overconfident convergence. We further design a bundling scheme that aggregates multiple questions into bundles, thus enriching the feedback signal and yielding more stable and informative training dynamics. Theoretically, we prove that the risk-averse update alleviates entropy collapse and promotes exploration. Numerically, RiskPO achieves consistent and significant improvements in mathematical reasoning, multi-modal reasoning, and code generation benchmarks, surpassing GRPO and its variants on both Pass@1 and Pass@k metrics. Our results demonstrate that risk-based optimization provides a rigorous and effective paradigm for enhancing LLM reasoning capabilities.
• Abstract（参考訳）: 検証可能な報酬を伴う強化学習は、最近、大規模言語モデル(LLMs)の訓練後の中心的なパラダイムとして登場したが、グループ相対政策最適化(GRPO)のような平均的手法では、エントロピーの崩壊と限定的な推論ゲインに悩まされている。 これらの問題は、稀だが有意義な推論パスを無視しながら、高確率な出力シーケンスを過度に強調することに起因すると我々は主張する。 これらの課題に対処するため,古典的平均的目標を原則的リスク対策に置き換えるリスクベースの政策最適化(RiskPO)を提案する。 具体的には、報酬分布の複数の領域に重み付けされた注意を統合し、挑戦するインスタンスの勾配信号を増幅し、過信収束を防止できる混合値-アット・リスクの目的を導入する。 さらに、複数の質問をバンドルに集約し、フィードバック信号を強化し、より安定かつ情報的なトレーニングダイナミクスを提供するバンドル・スキームを設計する。 理論的には、リスク逆更新はエントロピー崩壊を緩和し、探索を促進する。 RiskPOは数学的推論、マルチモーダル推論、コード生成ベンチマークの一貫性と大幅な改善を実現している。 この結果から,リスクベースの最適化はLLM推論能力を高めるための厳密で効果的なパラダイムを提供することが示された。

関連論文リスト

• Back to Basics: Revisiting Exploration in Reinforcement Learning for LLM Reasoning via Generative Probabilities [10.235183326885794]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLMs)における推論の強化に欠かせないパラダイムとして登場した。 我々は、この問題をサンプリング確率力学の観点から分析し、標準目的が高次様相の経路を不均等に強化することを特定する。 提案手法は,すべての応答に対する信頼度を平衡化するための新しいアドバンテージ再重み付け機構 (ARM) を提案する。
  論文  参考訳（メタデータ） (2026-02-05T04:06:55Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
  大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である 我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。 提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
  論文  参考訳（メタデータ） (2025-10-27T23:10:06Z)
• Risk-Averse Constrained Reinforcement Learning with Optimized Certainty Equivalents [29.698100324454362]
  制約付き最適化は強化学習(RL)における競合する目的を扱う共通のフレームワークを提供する 本稿では,最適化された確実性等価量(OCE)を用いて,報酬値と時間とともにステージごとの特性を示すリスク対応制約付きRLの枠組みを提案する。 本フレームワークは,パラメータ化された強ラグランジアン双対性フレームワークにおいて,適切な制約条件下での元の制約問題と正確に一致することを保証している。
  論文  参考訳（メタデータ） (2025-10-23T04:33:32Z)
• Efficient Safety Alignment of Large Language Models via Preference Re-ranking and Representation-based Reward Modeling [84.00480999255628]
  大規模言語モデル(LLM)の安全性アライメントのための強化学習アルゴリズムは,分散シフトの課題に直面している。 現在のアプローチでは、ターゲットポリシーからのオンラインサンプリングを通じてこの問題に対処するのが一般的である。 モデル固有の安全判断能力を活用して報酬信号を抽出する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-13T06:40:34Z)
• Risk-averse Total-reward MDPs with ERM and EVaR [12.719528972742394]
  リスク・アバースの総報酬基準は定常政策によって最適化可能であることを示す。 以上の結果から, リスク回避型強化学習領域において, 全報酬基準が割引基準よりも望ましい可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-30T13:33:18Z)
• A Reductions Approach to Risk-Sensitive Reinforcement Learning with Optimized Certainty Equivalents [44.09686403685058]
  本研究の目的は,累積報酬のリスク尺度を最適化する履歴依存政策を学習することである。 楽観主義に基づくメタアルゴリズムと政策勾配に基づくメタアルゴリズムを提案する。 我々は,提案アルゴリズムが概念実証MDPで最適な履歴依存ポリシーを学習できることを実証的に示す。
  論文  参考訳（メタデータ） (2024-03-10T21:45:12Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• A Risk-Sensitive Approach to Policy Optimization [21.684251937825234]
  標準深層強化学習(DRL)は、政策の定式化における収集経験を均等に考慮し、期待される報酬を最大化することを目的としている。 そこで本研究では,フルエピソード報酬の分布の累積分布関数 (CDF) で規定されるリスク感性目標を最適化する,より直接的なアプローチを提案する。 エージェントの動作が不十分なシナリオを強調する中程度の「悲観的」リスクプロファイルの使用が,探索の強化と,障害への継続的な対処に繋がることを示す。
  論文  参考訳（メタデータ） (2022-08-19T00:55:05Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。