論文の概要: Where Groups Split: A Probe Prior for Nonzero Within-Group Variance in RL Post-Training

• arxiv url: http://arxiv.org/abs/2610.25325v1
• Date: Sun, 18 Oct 2026 15:12:17 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:29:27.181077
• Title: Where Groups Split: A Probe Prior for Nonzero Within-Group Variance in RL Post-Training
• Title（参考訳）: グループ分割:RLポストトライニングにおける非ゼログループ内変動の先駆者
• Abstract要約: グループ相対ポリシー最適化は、サンプリングされたグループの報酬が一致しない場合にのみ、プロンプトから学習する。 二項検証器では、完全に正しいか完全に不正確な群は群内分散ゼロとゼロ優位を持つ。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Group relative policy optimization learns from a prompt only when the rewards in the sampled group disagree. With a binary verifier, a group that is entirely correct or entirely incorrect has within-group variance zero and a zero advantage. Uniform sampling continues to spend rollouts on prompts that are unanimous now and stay unanimous as training goes on. Pass rate is a weak forecast of that future. Two prompts at the same pass rate can move apart: one into the range where a finite group splits, and one toward a ceiling where the group becomes unanimous again. Aperture estimates the later pass rate from a short probe. A small subset of the pool is trained with the same recipe, every prompt is scored on the base model and on the probe model, and the two pass rates are plugged into the probability that a group of the training size is all wrong or split. The resulting weight is a static prior. It can be used alone or multiplied by an online scheduler, and the GRPO update is left as it is. On mathematical and logical reasoning with 1.7B and 4B models, the prior improves greedy accuracy over uniform GRPO and raises the fraction of groups with a nonzero advantage. The same prior still helps when it is combined with dynamic sampling or with selective rollouts.
• Abstract（参考訳）: グループ相対ポリシー最適化は、サンプリングされたグループの報酬が一致しない場合にのみ、プロンプトから学習する。 二項検証器では、完全に正しいか完全に不正確な群は群内分散ゼロとゼロ優位を持つ。 統一サンプリングは、現在全会一致のプロンプトにロールアウトし続け、トレーニングが進むにつれて全会一致を維持します。 パスレートはその未来の弱い予報だ。 1つは有限群が分裂する範囲へ、もう1つは群が再び一様になる天井に向かって移動する。 Apertureは、後続のパスレートを短いプローブから推定する。 プールの小さなサブセットは、同じレシピでトレーニングされ、すべてのプロンプトはベースモデルとプローブモデルでスコアされ、2つのパスレートは、トレーニングサイズのグループがすべて間違っているか、分割されているかの確率にプラグインされる。 結果として生じる重量は静的な先行値である。 オンラインスケジューラによって単独でも、あるいは掛け算してもよいが、GRPOのアップデートはそのまま残されている。 1.7B と 4B のモデルによる数学的および論理的推論において、前者は一様GRPO よりも欲求精度を向上し、非ゼロの優位性を持つ群の分数を増加させる。 以前と同じことが、動的サンプリングや選択的ロールアウトと組み合わせることにも役立ちます。

関連論文リスト

• Follow the Mixed Groups: Ridge-Tracking Gaussian Sampling for Zero-Variance Web Rollouts [0.0]
  グループ相対ポリシー最適化は、サンプル応答が一致しない場合にのみ、質問から学習する。 RIDGEはGRPOで平均精度を3.4ポイント、2.9ポイント、平均精度を3.7ポイント引き上げる。 2つの数学のバックボーンと検索拡張された質問応答器では、RIDGEはGRPOで平均精度を3.4と2.9と、平均精度を3.7と向上させる。
  論文  参考訳（メタデータ） (2026-10-18T15:18:23Z)
• Effective Reinforcement Learning for Agentic Search by Recycling Zero-Variance Queries During Training [28.12666966542811]
  本研究では,将来的な再サンプリングのために,ゼロ分散グループを可変プールに返却するクエリリサイクルを提案する。 本稿では, リサイクルクエリが, 学習終了までに有効バッチの約4分の3を供給していることを示す。
  論文  参考訳（メタデータ） (2026-06-09T11:12:58Z)
• Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
  グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。 チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
  論文  参考訳（メタデータ） (2026-05-12T03:20:24Z)
• Where to Spend Rollouts: Hit-Utility Optimal Rollout Allocation for Group-Based RLVR [25.35547462790362]
  グループベースのポリシー最適化手法は通常、各プロンプトに一定数のロールアウトを割り当てる。 我々は、ヒットユーティリティを導入し、提案されたプロンプトの追加アロケーションにおける少なくとも1つのロールアウトが正しいという後続の確率について紹介する。 本研究では,Hit-Utility Optimal Rollout Allocation (HORA)を提案する。
  論文  参考訳（メタデータ） (2026-05-08T01:42:25Z)
• Selective Rollout: Mid-Trajectory Termination for Multi-Sample Agent RL [6.435733307123974]
  GRPO(Group-relative RL Training)は、トレーニングプロンプト毎に少数の並列ロールアウトをサンプリングする。 グループ内の報酬を拡大して、軌道ごとの利点を計算する。 プロンプトのロールアウトが同じ報酬で終わるとき、群は報酬の分散をゼロとし、勾配を持たない。
  論文  参考訳（メタデータ） (2026-05-07T07:41:09Z)
• GUDA: Counterfactual Group-wise Training Data Attribution for Diffusion Models via Unlearning [83.56510119503267]
  モデルがトレーニングを欠席した場合、モデルが生成したサンプルの変化に対してどのように振る舞うか? 拡散モデルに対してGUDA(Group Unlearning-based Data Attribution)を提案する。
  論文  参考訳（メタデータ） (2026-01-30T07:10:59Z)
• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• Improved Group Robustness via Classifier Retraining on Independent Splits [6.930560177764658]
  群分布的ロバスト最適化は、強力な最悪群性能を持つ学習モデルのベースラインとして広く使われている。 本稿では,トレーニングデータの独立分割に基づくリトレーニングのアイデアに基づいて,簡単な手法を設計する。 新たなサンプル分割手法を用いることで、微調整工程において、ロバストな最悪のグループ性能が得られることが判明した。
  論文  参考訳（メタデータ） (2022-04-20T16:22:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。