論文の概要: Prompt Dominance and Asymmetric Verifier Costs: Empirical Ablations of GRPO at 1B Scale on GSM8K
- arxiv url: http://arxiv.org/abs/2610.04928v1
- Date: Sun, 04 Oct 2026 04:13:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 07:51:37.923537
- Title: Prompt Dominance and Asymmetric Verifier Costs: Empirical Ablations of GRPO at 1B Scale on GSM8K
- Title（参考訳）: プロンプト支配と非対称検証コスト:GSM8K上の1BスケールにおけるGRPOの実証的アブレーション
- Abstract要約: 本研究では,学習信号に対する推定器の選択と,学習内容に対する報酬信号の劣化について検討する。
我々は,GSM8K上でOLMo-0-0425-1Bをトレーニングし,制御されたスイープにおいて両面を計測する。
- 参考スコア（独自算出の注目度）: 3.4534153690333436
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper studies GRPO at 1B scale from both directions: what estimator choices do to the learning signal, and what a degraded reward signal does to what is learned. We train OLMo-2-0425-1B on GSM8K with a from-scratch implementation and measure both sides in controlled sweeps, including a verifier-quality experiment that degrades the training reward and the test-time selector identically. Four results stand out. The prompt is the first-order decision: the zero-shot prompt leaves the base model at 0.08% (its outputs are degenerate continuations, not wrong answers), so almost no group carries a gradient, and training succeeds because the 3-shot prompt reaches 18.3%. At this scale the estimator variants sit within seed noise, with Dr. GRPO ahead on both seeds. In the off-policy regime, clipping is the whole story: training on data without a clipped ratio loses 4-6 points relative to the on-policy reference, while GRPO-style clipping and GSPO recover the loss entirely. Finally, the same weak verifier is far cheaper in RL than in test-time selection: a 10%-flip verifier leaves RL's attainable gain intact (91% and 106% retained across two seeds) where selection retains 57%, and a format-only verifier leaves RL with 16-30% of its gain and selection with essentially nothing. Flip noise acts as an affine transform on the expected reward, and the group-normalized advantage with Adam's rescaling removes it exactly; the residual is a second-order variance effect that the matched-step comparison at a 30% flip rate tests.
- Abstract（参考訳）: 本論文は,GRPOを2方向から1Bスケールで研究し,学習信号に対する推定器の選択と,学習信号に対する報酬信号の劣化について検討する。
我々は、GSM8K上でOLMo-2-0425-1Bをトレーニングし、トレーニング報酬とテストタイムセレクタを同一に劣化させる検証器品質実験を含む、制御されたスイープにおいて両側面を計測する。
4つの結果が浮き彫りだ。
ゼロショットプロンプトはベースモデルを0.08%(出力は退行であり、間違った答えではない)に残すため、ほとんどどのグループも勾配を持たず、3ショットプロンプトが18.3%に達するため、トレーニングは成功する。
このスケールでは、推定器の変種はシードノイズの範囲内にあり、Dr. GRPOは両方の種に先行する。
クリップされた比率のないデータのトレーニングは、オンラインの基準と比べて4-6ポイント減少し、GRPOスタイルのクリッピングとGSPOは、完全に損失を回復する。
最後に、同じ弱い検証器はテスト時間選択よりもRLの方がはるかに安価である:10%フリップ検証器は、選択が57%を維持したまま、RLの到達可能な利得(2つの種に91%と106%)を保ち、フォーマットのみ検証器は16〜30%の利得と選択を基本的に何も持たない。
フリップノイズは期待される報酬に対してアフィン変換として作用し、アダムの再スケーリングによる群正規化の利点は正確に除去される。
関連論文リスト
- Luck Is Not Skill: When Do Paired Rollouts Help Group-Relative RL of LLM Agents? [2.488251122211714]
グループ相対強化学習は、同じプロンプトのロールアウトを比較するが、独立した環境ノイズはこれらの比較を曖昧にする可能性がある。
本研究は,各グループ内において,各ロールアウトの周縁分布を保ちながら,イベントキー付きノイズスケジュールを共有するペア付きロールアウトについて検討する。
片側グレーダ雑音に対して、還元の正確な条件を導出し、勾配のばらつきが増大する一方、報酬のコントラストが改善する反例を与える。
論文 参考訳（メタデータ） (2026-09-21T05:55:08Z) - Coverage, Not Targeting: A Structural Regime in Multi-Turn Agent Credit Assignment [5.864346468963738]
マルチターンエージェントRLは、ますますターゲット問題としてクレジット割り当てを扱うようになっている。
端末状態検証器は、ターゲットが間違った軸である低V_d方式で深い位置にあることを示す。
論文 参考訳（メタデータ） (2026-09-02T10:37:12Z) - WarpSAC: Towards the Pinnacle of Scalable Off-policy RL by Rethinking Exploration and Exploitation [67.83495924117089]
大規模並列シミュレーションは、非政治強化学習を訓練するデータ体制を変える。
これらの安定化器はデータ登録に依存していることを示す。
我々は、政治外RLアルゴリズムのレシシック対応ファミリーであるWarpSACを提案する。
論文 参考訳（メタデータ） (2026-08-25T12:24:15Z) - Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。
我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
論文 参考訳（メタデータ） (2026-08-18T01:16:02Z) - CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning [6.071121358322323]
emphCoREはトレーニングされていないベースを平均で+21.7ドル、多数投票で$20.4ドルで改善する。
投票ボックスではなくグラフとしてロールアウトグループを扱い、不安定な投票を、余分なロールアウトコストなしで、校正され、格付けされ、自己監督された報酬に変える。
論文 参考訳（メタデータ） (2026-08-10T09:06:03Z) - Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。
RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2026-08-01T17:29:14Z) - Self-Improvement Can Self-Regress: The Rise-and-Collapse Failure Mode of LLM Self-Training [2.743683637024251]
自己改善は、コードトレーニング後のREINFORCEで自己回帰できる。
本研究は,Qwen-2.5-3BとQwen-2.5-7Bを用いたマルチシードテストベッドで行った。
論文 参考訳（メタデータ） (2026-06-17T18:03:06Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - Gradient Starvation in Binary-Reward GRPO: Why Group-Mean Centering Fails and Why the Simplest Fix Works [19.92945464084119]
Group Relative Policy Optimization (GRPO) は、検証可能な報酬からの強化学習のための標準アルゴリズムである。
我々は、真の退化率は、常にジェンセンの不等式によるベルヌーイ予想を超えることを証明している。
固定参照符号の利点である$A=2r-1$は、グループ内の少なくとも1つのサンプルが成功する確率を高めて、pass@$G$失敗降下を実行することを示す。
論文 参考訳（メタデータ） (2026-05-08T12:58:06Z) - Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。
3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。
機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
論文 参考訳（メタデータ） (2026-05-08T02:40:12Z) - RESTRAIN: From Spurious Votes to Signals -- Self-Driven RL with Self-Penalization [52.01526898310723]
私たちは、ゴールドラベルの欠如を有用な学習信号に変換する自己金型RLフレームワークであるRESTRAINを紹介します。
多数決を急ぐために過剰にコミットする代わりに、RESTRAINは、モデルの全回答分布からのシグナルを利用する。
挑戦的な推論ベンチマークでは、RESTRAINはラベルのないデータのみを使用して大きなゲインを提供する。
論文 参考訳（メタデータ） (2025-10-02T16:24:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。