論文の概要: One Offset, Two Directions: Baseline Adjustment via Subgroup Offsets
- arxiv url: http://arxiv.org/abs/2611.00782v1
- Date: Sat, 31 Oct 2026 09:54:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-13 09:46:44.382335
- Title: One Offset, Two Directions: Baseline Adjustment via Subgroup Offsets
- Title(参考訳): 1つのオフセット、2つの方向:サブグループオフセットによるベースライン調整
- Abstract要約: グループ相対政策最適化(Group Relative Policy Optimization)は、グループ間で共有される平均報酬(英語版)に対する利点を見積もる。
プロンプト内のロールアウトは必ずしも同質ではなく、解戦略や推論軌跡に違いがあり、それらが部分群にグループ化される可能性がある。
本研究では,プロンプトのロールアウトが不均一な部分群に陥る際のベースラインの調整方法について検討する。
- 参考スコア(独自算出の注目度): 32.93877114935382
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Group Relative Policy Optimization (GRPO) estimates advantages against the within-prompt mean reward, a baseline shared across the group. In practice, rollouts within a prompt are not always homogeneous, differing in their solution strategies and reasoning trajectories, along which they may group into subgroups. We further find that these heterogeneous subgroups may exhibit distinct reward distributions. The global baseline, however, collapses them onto a single credit axis, where the credit reflects neither a rollout's standing within its subgroup nor the subgroup's standing relative to the rest. We therefore study how to adjust the baseline when the rollouts of a prompt fall into heterogeneous subgroups. We define the \emph{subgroup offset} as the deviation of a subgroup mean from the global mean, and shift the baseline along it by a single signed coefficient $λ$. The sign of $λ$ yields two opposing directions: \emph{Alignment} ($λ{>}0$) adds the offset to the baseline, drawing credit toward a rollout's relative position within its subgroup; \emph{Contrast} ($λ{<}0$) subtracts it, drawing a rollout's credit toward the relative quality of the subgroup it belongs to. The adjustment acts on the baseline alone, leaving the reward signal and the optimization objective unchanged. In this work, we induce subgroups from strategies, grouping rollouts that share a strategy into the same subgroup. We evaluate both directions on Qwen3-8B-Base and Olmo3-7B-Base across four competition-level math benchmarks, against a $λ{=}0$ anchor that shares the same strategy-conditioned sampling and differs only in the baseline. Against this anchor each direction yields modest but consistent gains in multi-sample coverage, with Contrast the stronger of the two.
- Abstract(参考訳): グループ相対政策最適化(GRPO)は、グループ間で共有される平均報酬(英語版)に対する利点を見積もる。
実際には、プロンプト内のロールアウトは必ずしも同質ではなく、解戦略や推論軌跡に違いがあり、それらが部分群にグループ化される可能性がある。
さらに、これらの異種部分群は異なる報酬分布を示す可能性がある。
しかし、グローバルベースラインはそれらを単一のクレジット軸に崩壊させ、クレジットはサブグループ内のロールアウトや、他のグループに対するサブグループのスタントを反映しない。
したがって、プロンプトのロールアウトがヘテロジニアス部分群に落ちるとき、ベースラインの調整方法を研究する。
我々は \emph{subgroup offset} を、大域平均からの部分群の偏差として定義し、その基底線を 1 つの符号付き係数 $λ$ でシフトする。
λ$ の符号は 2 つの反対方向を与える: \emph{Alignment} (λ{>}0$) はベースラインにオフセットを追加し、そのサブグループ内のロールアウトの相対的な位置に向かってクレジットを描画する; \emph{Contrast} (λ{<}0$) はそれを減算し、ロールアウトのクレジットをそのサブグループの相対的な品質に向けて引き出す。
調整はベースラインのみに作用し、報酬信号と最適化の目的は変わらない。
本研究では,戦略からサブグループを誘導し,戦略を共有するロールアウトを同じサブグループにグループ化する。
Qwen3-8B-BaseとOlmo3-7B-Baseの両方向を4つの競合レベルのベンチマークで評価し、同じ戦略条件のサンプリングを共有し、ベースラインでのみ異なるλ{=}0$アンカーと比較した。
このアンカーに対して、各方向は控えめだが、マルチサンプルのカバレッジで一貫した利得を得る。
関連論文リスト
- Where Groups Split: A Probe Prior for Nonzero Within-Group Variance in RL Post-Training [0.0]
グループ相対ポリシー最適化は、サンプリングされたグループの報酬が一致しない場合にのみ、プロンプトから学習する。
二項検証器では、完全に正しいか完全に不正確な群は群内分散ゼロとゼロ優位を持つ。
論文 参考訳(メタデータ) (2026-10-18T15:12:17Z) - Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis [59.80039032720308]
非同期強化学習(RL)は、大規模言語モデルの訓練後の効率を改善するが、以前のポリシーによって生成された古いロールアウトを導入する。
勾配推定器の第2モーメントとバイアスのトレードオフを特徴付けるGRPO型アルゴリズムの収束バウンダリを導出する。
重み付き推定器のクラス内における比に基づくバイアスを最小化するグループマスキャッピングGRPO(GMC-GRPO)法を提案する。
論文 参考訳(メタデータ) (2026-10-01T15:45:08Z) - A Group-Based Resource Allocation Model for the Fractional Knapsack Problem [0.0]
Dantzigのgreedyルールはその価値とコストの比率に応じてアイテムを注文する。
属性を共有する項目を半径$$でグループ化する。
これらのグループを下位の順に評価し、そのグループの予算シェアをそれ以上のランク付けなしに分割する。
論文 参考訳(メタデータ) (2026-09-06T08:33:53Z) - Group Alignment-Induced Sycophancy: A Two-Sided Evaluation of Steerable Pluralistic Alignment [16.312268060195503]
グループアライメントは、言語モデルを人口統計群に適応させ、グループの意見、価値観、嗜好を反映した応答を生成する。
我々は,3つの方法,4つのモデル,13の人口集団間のアライメントを,意見アライメントの意図した利得と意図しないシコファンシーの変化の両面で評価した。
論文 参考訳(メタデータ) (2026-08-12T00:39:24Z) - Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。
GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。
チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
論文 参考訳(メタデータ) (2026-05-12T03:20:24Z) - DuetFair: Coupling Inter- and Intra-Subgroup Robustness for Fair Medical Image Segmentation [13.716099881534367]
textbfDuetFairメカニズムはサブグループ間の適応とサブグループ間のロバスト性を考慮する。
textbfFairDROは、dMoE(distributment-aware mixed-of-experts)とサブグループ条件の分散ロバスト最適化(distributmentally robust optimization、DRO)のロスアグリゲーションを組み合わせる。
FairDROはHarvard-FairSegの株式規模で最高のパフォーマンスを達成し、HAM10000の最悪のサブグループのパフォーマンスを、年齢と人種ベースのグループ方式の両方で改善する。
論文 参考訳(メタデータ) (2026-05-11T13:08:35Z) - Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。
標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。
トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
論文 参考訳(メタデータ) (2026-04-14T09:48:46Z) - Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。
本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。
我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
論文 参考訳(メタデータ) (2025-03-12T15:46:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。