論文の概要: GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number: The Group-Standard-Deviation Identity
- arxiv url: http://arxiv.org/abs/2607.00152v1
- Date: Tue, 30 Jun 2026 20:28:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.623664
- Title: GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number: The Group-Standard-Deviation Identity
- Title（参考訳）: GRPO, Dr. GRPO, DAPOの3つの操作:グループ・スタンダード・デバイジョン・アイデンティティ
- Abstract要約: 言語モデルを推論する3つの一般的な方法は、3つの異なるトリックのように見えます。
3つとも、標準偏差(標準偏差)という1つの数を調整する。
この論文は、それらが1つのダイヤルの3つの設定であることを証明している。
分裂したグループは最も多くを教え、一方、一致したグループは何も教えず、静かに落ちます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Three of the most popular methods for training language models to reason look like three different tricks. They are not. All three adjust a single number: standard deviation, reflecting how much a prompt's sampled answers disagree. When such a model is trained, it answers each problem many times, and an automatic checker marks every answer right or wrong. The standard deviation of those marks measures the disagreement: largest when the answers split evenly between right and wrong, and zero when they all agree. Group Relative Policy Optimization (GRPO) divides by this number, GRPO Done Right (Dr. GRPO) drops the division, and Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO) discards the groups where it is zero. Each is presented as its own fix, yet this paper proves they are three settings of one dial. That dial is not cosmetic: for right-or-wrong rewards, the disagreement is exactly the size of the training update, the group-standard-deviation identity. A split group teaches the most, while a unanimous group teaches nothing and falls silent. The same result says which problems deserve the most weight and how many tries each one needs. This paper confirms the intuition on a large real difficulty dataset (Big-Math) and in a controlled training run. What looks like a harmless normalization step is the dial that decides where learning happens and how strongly.
- Abstract（参考訳）: 言語モデルを推論するためにトレーニングする最も一般的な3つのメソッドは、3つの異なるトリックのように見えます。
彼らは違う。
3つとも、標準偏差(標準偏差)という1つの数を調整する。
そのようなモデルがトレーニングされると、各問題が何度も答え、自動チェッカーが正しいか間違っているかを示す。
これらのマークの標準偏差は、意見の相違を測る: 答えが右と反対に均等に分裂した場合が最大、そして、全員が同意した場合がゼロである。
グループ相対政策最適化 (GRPO) はこの数で分割し、GRPO Done Right (Dr. GRPO) は除算し、Decoupled Clip and Dynamic Smpling Policy Optimization (DAPO) はゼロであるグループを捨てる。
それぞれが独自の修正として提示されるが、本論文では、これらが1つのダイヤルの3つの設定であることを証明している。
このダイヤルは化粧品ではなく、右か右かの報酬については、トレーニングアップデートのサイズ、グループ標準偏差(group-standard-deviation)のアイデンティティに違いがある。
分裂したグループは最も多くを教え、一方、一致したグループは何も教えず、静かに落ちます。
同じ結果から、どの問題が最も重み付けされ、それぞれに何回試す必要があるかが分かる。
本稿では,大規模現実難読データセット(Big-Math)と制御トレーニング実行時の直感性を確認する。
無害な正規化のステップのように見えるのは、学習の場所と、いかに強くなったかを判断するダイアルです。
関連論文リスト
- Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。
RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2026-08-01T17:29:14Z) - LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning [6.241883798820154]
モデル間コンセンサス(モデル間コンセンサス)について検討し、独立に訓練されたモデル(各モデルが一度解ける程度)が最終解に一致するかを検討した。
パネルをLCM判定として扱い、合意の構造は、他のモデルのスコアではなく、検証信号である。
3つのパネル統計値から平均絶対誤差0.03$までのコンセンサス精度を予測する。
論文 参考訳（メタデータ） (2026-07-11T05:57:54Z) - Max Out GRPO Signal: Adaptive Trace Prefix Control for Hard Reasoning Problems [0.0]
グループ相対政策最適化は、グループ内のロールアウトが成功しない場合、モデルの最も難しい問題で行き詰まります。
参照解の正しいプレフィックスを前もって成功率を高め、プレフィックス長を困難に対する連続ノブとする。
コンカレントメソッドはknobを一度セットし、AdaPrefix-GRPOはそれをフィードバックコントローラに変換する。
論文 参考訳（メタデータ） (2026-07-08T17:32:58Z) - Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。
GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。
チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
論文 参考訳（メタデータ） (2026-05-12T03:20:24Z) - Transform-Augmented GRPO Improves Pass@k [50.3707071191733]
グループ相対政策最適化(GRPO)は推論を改善するために設計されたが、2つの障害モードによって状況が悪化する。
本稿では,各質問に対して意味論的に等価な変換変種を生成するTA-GRPO(Transform-Augmented GRPO)を提案する。
このプール化された計算は、元の質問が簡単すぎるか難しすぎる場合でも、混合報酬を保証する一方、多様なフレーズのトレーニングは、複数のソリューション戦略を促進する。
論文 参考訳（メタデータ） (2026-01-30T02:43:29Z) - GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。
次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。
GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
論文 参考訳（メタデータ） (2026-01-08T18:59:24Z) - The Majority is not always right: RL training for solution aggregation [53.1050856072799]
我々はアグリゲータモデルをトレーニングし、最終的な正解をレビューし、精査し、合成する。
重要な要素は、簡単なトレーニング例と厳しいトレーニング例のバランスを取ることだ。
我々の手法であるAggLMは、強いルールベースと報酬モデルベースラインの両方を上回ります。
論文 参考訳（メタデータ） (2025-09-08T16:39:38Z) - Stepwise Guided Policy Optimization: Coloring your Incorrect Reasoning in GRPO [22.00487909203855]
グループ相対ポリシー最適化は、グループ内のすべてのレスポンスが正しくない場合にポリシーを更新できない。
この制限は、人工知能と人間の知性の間に重要なギャップを浮き彫りにする。
グループ内に応答の多様性を取り入れることで、全負のサンプル問題を緩和するシンプルなフレームワークを導入する。
論文 参考訳（メタデータ） (2025-05-16T18:02:05Z) - Mutual Exclusive Modulator for Long-Tailed Recognition [12.706961256329572]
ロングテール認識は、カテゴリー間で極めて不均衡なトレーニングサンプルを与えられた高性能分類器を学習するタスクである。
各グループに属する画像の確率を推定できる相互排他変調器を導入する。
提案手法は,最先端のベンチマークと比較すると,競争性能が向上する。
論文 参考訳（メタデータ） (2023-02-19T07:31:49Z) - Bitrate-Constrained DRO: Beyond Worst Case Robustness To Unknown Group
Shifts [122.08782633878788]
いくつかの堅牢なトレーニングアルゴリズム(例えば、グループDRO)は、グループシフトを専門とし、すべてのトレーニングポイントについてグループ情報を必要とする。
グループアノテーションを必要としない他の方法(CVaR DROなど)は、過度に保守的である。
低機能により実現された単純な群関数の精度を維持するモデルを学習する。
論文 参考訳（メタデータ） (2023-02-06T17:07:16Z) - Improved Group Robustness via Classifier Retraining on Independent
Splits [6.930560177764658]
群分布的ロバスト最適化は、強力な最悪群性能を持つ学習モデルのベースラインとして広く使われている。
本稿では,トレーニングデータの独立分割に基づくリトレーニングのアイデアに基づいて,簡単な手法を設計する。
新たなサンプル分割手法を用いることで、微調整工程において、ロバストな最悪のグループ性能が得られることが判明した。
論文 参考訳（メタデータ） (2022-04-20T16:22:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。