論文の概要: Asymmetric Prompt Weighting for Reinforcement Learning with Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2602.11128v1
• Date: Wed, 11 Feb 2026 18:39:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:02.327718
• Title: Asymmetric Prompt Weighting for Reinforcement Learning with Verifiable Rewards
• Title（参考訳）: 検証可能な逆流を用いた強化学習のための非対称プロンプト重み付け
• Authors: Reinhard Heckel, Mahdi Soltanolkotabi, Christos Thramboulidis,
• Abstract要約: 非対称なプロンプト重み付けを考えると、より高い重み付けを低い、あるいはゼロな経験的成功確率のプロンプトに割り当てる。 情報応答が稀であり、応答コストが支配的である低リスク状態においては、これらの最適な重みは非対称となる。
• 参考スコア（独自算出の注目度）: 33.72297722930672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards has driven recent advances in LLM post-training, in particular for reasoning. Policy optimization algorithms generate a number of responses for a given prompt and then effectively weight the corresponding gradients depending on the rewards. The most popular algorithms including GRPO, DAPO, and RLOO focus on ambiguous prompts, i.e., prompts with intermediate success probability, while downgrading gradients with very easy and very hard prompts. In this paper, we consider asymmetric prompt weightings that assign higher weights to prompts with low, or even zero, empirical success probability. We find that asymmetric weighting particularly benefits from-scratch RL (as in R1-Zero), where training traverses a wide accuracy range, and less so in post-SFT RL where the model already starts at high accuracy. We also provide theory that characterizes prompt weights which minimize the time needed to raise success probability from an initial level to a target accuracy under a fixed update budget. In low-success regimes, where informative responses are rare and response cost dominates, these optimal weights become asymmetric, upweighting low success probabilities and thereby accelerating effective-time convergence.
• Abstract（参考訳）: 検証可能な報酬による強化学習は、特に推論のために、LLMポストトレーニングの最近の進歩を促している。 ポリシー最適化アルゴリズムは与えられたプロンプトに対して多数の応答を生成し、報酬に応じて対応する勾配を効果的に重み付けする。 GRPO(英語版)、DAPO(英語版)、RLOO(英語版)を含む最も一般的なアルゴリズムは曖昧なプロンプト、すなわち中間成功確率のプロンプトに焦点を当て、非常に簡単で非常に難しいプロンプトで勾配を下げる。 本稿では,低,あるいは0,経験的成功確率のプロンプトにより高い重み付けを割り当てる非対称なプロンプト重み付けについて考察する。 非対称重み付けは、特にR1-Zeroのように、トレーニングが広い精度範囲を横切る場合において、モデルが既に高い精度で開始されているSFT後RLでは、特に有益であることがわかった。 また、初期レベルから目標精度まで、固定更新予算下での成功確率を上げるのに必要な時間を最小化し、即時重みを特徴付ける理論も提案する。 情報応答が希少であり、応答コストが支配的な低リスク政権では、これらの最適重量は非対称となり、成功確率が上昇し、有効時間の収束が加速する。

関連論文リスト

• Step Potential Advantage Estimation: Harnessing Intermediate Confidence and Correctness for Efficient Mathematical Reasoning [25.562101968892833]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデル(LLM)における長い連鎖推論を導く 既存のアプローチでは、トークンレベルのエントロピーやシーケンスレベルの長さ制御を通じてRLVRを改善するが、推論の進捗を意味的に基礎づけたステップレベルの尺度は欠如している。 本研究では,潜在的利得を増幅し,潜在的利得をペナルティ化し,飽和後のペナルティを適用してタイムリーな終了を促す,詳細な信用割当手法であるステップ電位アドバンテージ推定(SPAE)を提案する。
  論文  参考訳（メタデータ） (2026-01-07T11:36:01Z)
• ASPO: Asymmetric Importance Sampling Policy Optimization [31.38346888572171]
  ポジティブアドバンテージトークンのImportance Smpling(IS)比は不一致であり、正および負のトークンに対するアンバランストークン重み付けにつながる。 このミスマッチは、既に高確率のトークンを過剰に増幅しながら、低確率トークンの更新を抑制する。 我々は,IS比の正アドバンテージトークンを反転させるシンプルかつ効果的な戦略を用いた非対称的重要度サンプリングポリシー最適化(ASPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:54:24Z)
• Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [65.18157595903124]
  本研究では任意のプロンプトの反復的近似評価について検討する。 Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。 MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
  論文  参考訳（メタデータ） (2025-07-07T03:20:52Z)
• Response-Level Rewards Are All You Need for Online Reinforcement Learning in LLMs: A Mathematical Perspective [6.069069082518759]
  大規模言語モデル(LLM)の強化学習におけるゼロ・リワード推定について検討する。 反応レベル報酬モデルのみを用いて、真で未知のトークンレベルの報酬に基づくポリシー勾配を不偏に推定できることを示す。 我々は,新しいアルゴリズム,Token-Reinforced Policy Optimization (TRePO)を提案する。
  論文  参考訳（メタデータ） (2025-06-03T07:44:31Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• Supervised Advantage Actor-Critic for Recommender Systems [76.7066594130961]
  本稿では、RL成分を学習するための負のサンプリング戦略を提案し、それを教師付き逐次学習と組み合わせる。 サンプル化された(負の)作用 (items) に基づいて、平均ケース上での正の作用の「アドバンテージ」を計算することができる。 SNQNとSA2Cを4つのシーケンシャルレコメンデーションモデルでインスタンス化し、2つの実世界のデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-11-05T12:51:15Z)
• Deep Reinforcement Learning with Weighted Q-Learning [43.823659028488876]
  Q-learningに基づく強化学習アルゴリズムは、複雑な問題の解決に向けて、Deep Reinforcement Learning (DRL)研究を推進している。 Q-Learningは、期待値の雑音の最大過度推定を用いて学習するため、正の偏りがあることが知られている。 提案手法は, 提案手法により, バイアスw.r.t.関連ベースラインを減らし, その優位性を示す実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2020-03-20T13:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。