論文の概要: Follow the Mixed Groups: Ridge-Tracking Gaussian Sampling for Zero-Variance Web Rollouts

• arxiv url: http://arxiv.org/abs/2610.25330v1
• Date: Sun, 18 Oct 2026 15:18:23 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:40:04.576493
• Title: Follow the Mixed Groups: Ridge-Tracking Gaussian Sampling for Zero-Variance Web Rollouts
• Title（参考訳）: 混合グループの追従:ゼロ変数Webロールアウトのためのリッジトラッキングガウスサンプリング
• Abstract要約: グループ相対ポリシー最適化は、サンプル応答が一致しない場合にのみ、質問から学習する。 RIDGEはGRPOで平均精度を3.4ポイント、2.9ポイント、平均精度を3.7ポイント引き上げる。 2つの数学のバックボーンと検索拡張された質問応答器では、RIDGEはGRPOで平均精度を3.4と2.9と、平均精度を3.7と向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Group relative policy optimization learns from a question only when the sampled responses disagree. A group that is entirely correct or entirely incorrect has zero reward variance and a zero advantage. On the Web, that group has already spent its searches and page fetches. Gaussian curricula aim the next batch at pass rates where a finite group can still mix. A Gaussian on the latest empirical rate treats every all-fail history as the same point, and a center stepped by the average signed change of those rates is pushed by prompts already stuck at 0 or 1. RIDGE keeps the Gaussian curriculum and changes the coordinate, the center, and the width. Each prompt carries a Beta posterior. The sampling weight is the marginal of a Gaussian target under a Gaussian approximation of that posterior, divided by a prediction of tool-call cost. The center and the width are an exponential smooth of the posterior means of groups that just came back mixed. All-correct and all-incorrect groups refresh the posterior and do not move the center. The GRPO update itself is unchanged. On two math backbones and a retrieval-augmented question answerer, RIDGE raises average accuracy by 3.4 and 2.9 points over GRPO and average exact match by 3.7 points, at 29.6\% fewer math rollouts and 32.7\% fewer tool calls than dynamic sampling.
• Abstract（参考訳）: グループ相対ポリシー最適化は、サンプル応答が一致しない場合にのみ、質問から学習する。 完全に正しい、あるいは完全に正しくない群は、報酬分散がゼロで、利益がゼロである。 Webでは、そのグループがすでに検索とページフェッチに費やしている。 ガウスキュリキュラは、有限群が依然として混合可能なパスレートで次のバッチを狙う。 最新の経験的レートのガウシアンは同じ点として全てのオールフェイル履歴を扱い、署名された平均的な変更による中心は、既に0または1で立ち往生しているプロンプトによって押される。 RIDGEはガウスのカリキュラムを保持し、座標、中心、幅を変更する。 各プロンプトはベータ後部を運ぶ。 サンプリング重量は、その後部のガウス近似の下でガウス目標の限界であり、ツールコールコストの予測によって分割される。 中心と幅は、ちょうど混ざり合ったグループの後方手段の指数的滑らかさである。 全正誤群と全正誤群は後部をリフレッシュし、中心を動かさない。 GRPOの更新自体は変更されていない。 2つの数学のバックボーンと検索強化された質問応答器で、RIDGEはGRPOの平均精度を3.4と2.9ポイント、平均精度を3.7ポイント、数学のロールアウトを29.6\%、動的サンプリングよりも32.7\%削減する。

関連論文リスト

• Where Groups Split: A Probe Prior for Nonzero Within-Group Variance in RL Post-Training [0.0]
  グループ相対ポリシー最適化は、サンプリングされたグループの報酬が一致しない場合にのみ、プロンプトから学習する。 二項検証器では、完全に正しいか完全に不正確な群は群内分散ゼロとゼロ優位を持つ。
  論文  参考訳（メタデータ） (2026-10-18T15:12:17Z)
• Prompts Live on an Arc: Gaussian Curricula in Fisher--Rao Coordinates for Rollout-Efficient GRPO [0.0]
  グループ相対ポリシー最適化は、サンプル応答が一致しないプロンプトからのみ学習する。 GRPO は arc length $=arcsinsqrtp$ on the Bernoulli Fisher--Rao manifold である。 我々はこの観測結果を、カルマンフィルターで全てのプロンプトをアーク長さで追跡する、ARCUSに変換する。
  論文  参考訳（メタデータ） (2026-09-29T17:02:27Z)
• GAUGE: Group-Wise View-Inconsistency Rectification for Feed-Forward 4D Tracking [48.91477882822122]
  本稿では,GAUGE(Group-wise Adaptive Unsupervised Gauge Estimation)について述べる。 方向整合性と空間接続性から運動群を復元し、フレーム単位のラジアルスケールとグループレベルの変換を推定する。 D4RT, 4RC, SM4RTを含む8つのトラッカーの動的クエリポイントでは, 訂正されていない予測に対して, 終端誤差を15.1%から62.6%削減する。
  論文  参考訳（メタデータ） (2026-09-26T13:14:53Z)
• EGGROLL, Unrolled: Understanding and Improving Low-Rank Evolution Strategies at Scale [9.562123195246393]
  EGGROLL は高密度ガウス重摂動を低ランクガウス積に置き換えることで LLM の進化戦略を実践する。 有限人口推定器の誤差を解析する。 退避推定器であるLOO-ROLLは、EGGROLLの2つのアンチセティック評価を1方向に置き換えつつ、有限ランクの個体群を保存する。
  論文  参考訳（メタデータ） (2026-09-10T01:58:02Z)
• Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
  グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。 チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
  論文  参考訳（メタデータ） (2026-05-12T03:20:24Z)
• Selective Rollout: Mid-Trajectory Termination for Multi-Sample Agent RL [6.435733307123974]
  GRPO(Group-relative RL Training)は、トレーニングプロンプト毎に少数の並列ロールアウトをサンプリングする。 グループ内の報酬を拡大して、軌道ごとの利点を計算する。 プロンプトのロールアウトが同じ報酬で終わるとき、群は報酬の分散をゼロとし、勾配を持たない。
  論文  参考訳（メタデータ） (2026-05-07T07:41:09Z)
• MC-GRPO: Median-Centered Group Relative Policy Optimization for Small-Rollout Reinforcement Learning [11.456510890703994]
  グループ相対ポリシー最適化手法は,プロンプト毎に複数のロールアウトを生成することで,言語モデルを訓練する。 ロールアウト予算が小さいリソース制約のある環境では、精度が低下することが多い。 我々は,小規模ロールアウト学習のためのシンプルかつ効果的なソリューションであるMC-GRPO(Median-Centered Group Relative Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-01-30T05:24:51Z)
• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• GROS: A General Robust Aggregation Strategy [49.1574468325115]
  距離空間における推定器を組み合わせるための新しい、非常に一般的な、堅牢な手順が導入された。 最小化が標本を乗っ取ると、同じ(定数まで)準ガウス性が得られることを示す。 GROSの性能は5つのシミュレーション研究により評価した。
  論文  参考訳（メタデータ） (2024-02-23T17:00:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。