論文の概要: Prompts Live on an Arc: Gaussian Curricula in Fisher--Rao Coordinates for Rollout-Efficient GRPO

• arxiv url: http://arxiv.org/abs/2609.38018v1
• Date: Tue, 29 Sep 2026 17:02:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.768249
• Title: Prompts Live on an Arc: Gaussian Curricula in Fisher--Rao Coordinates for Rollout-Efficient GRPO
• Title（参考訳）: 魚のガウスキュリキュラ-ロールアウト効率GRPOのためのラオ座標
• Abstract要約: グループ相対ポリシー最適化は、サンプル応答が一致しないプロンプトからのみ学習する。 GRPO は arc length $=arcsinsqrtp$ on the Bernoulli Fisher--Rao manifold である。 我々はこの観測結果を、カルマンフィルターで全てのプロンプトをアーク長さで追跡する、ARCUSに変換する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group relative policy optimization (GRPO) learns only from prompts whose sampled responses disagree: a group that is entirely correct or entirely incorrect has zero reward variance, contributes no gradient, and still consumes its rollouts. Prompt-selection methods reduce this waste by steering sampling toward intermediate pass rates, but they choose the target, its width, and the uncertainty model heuristically, in raw pass-rate or logit coordinates. We show that GRPO comes with a natural coordinate for pass rates: the arc length $ψ=\arcsin\sqrt{p}$ on the Bernoulli Fisher--Rao manifold. In arc length, the expected GRPO update is uniform up to two boundary ramps; the probability of a zero-variance group is bounded by two Gaussian boundary layers of width $1/\sqrt{2G}$; pass-rate evidence has constant noise; and the gradients of the pass@$k$ and pass$^k$ objectives are Gaussians whose center and width follow from $k$ in closed form. A prompt curriculum for GRPO is therefore a Gaussian in arc length, and choosing its center amounts to choosing the objective. We turn this observation into ARCUS, a drop-in sampler that tracks every prompt with a Kalman filter in arc length, scores prompts by an objective-matched Gaussian kernel times the predicted probability of an informative group, keeps only informative groups for the unchanged GRPO update, and paces the target toward the hardest objective whose predicted yield stays within a small slack of the best. Across six mathematical reasoning benchmarks and three backbones, ARCUS improves the average accuracy of GRPO by 2.8--2.9 points and that of dynamic sampling by 1.1--1.2 points, while generating 48--57\% fewer rollouts than dynamic sampling.
• Abstract（参考訳）: グループ相対ポリシー最適化(GRPO)は、サンプリングされた応答が一致しないプロンプトからのみ学習する。 プロンプト選択法では, この廃棄物を中間通過速度に向けてサンプリングすることで削減するが, ターゲット, 幅, 不確実性モデルを選択し, 生の通過速度やロジット座標でヒューリスティックに選択する。 GRPO はパスレートの自然な座標を持ち、ベルヌーイ・フィッシャー-ラオ多様体上の arc length $ =\arcsin\sqrt{p}$ であることを示す。 弧長では、期待されるGRPO更新は2つの境界ランプまで均一であり、ゼロ分散群の確率は、幅1/\sqrt{2G}$のガウス境界層によって境界付けられ、パスレート証拠は一定のノイズを持ち、pass@$k$とpass$^k$の勾配は、中心と幅が閉じた形で$k$から続くガウス多様体である。 したがって、GRPO の急進的なカリキュラムは弧長のガウスであり、その中心を目的を選ぶために選択する。 我々はこの観測結果をARCUSに変換し、カルマンフィルタで全てのプロンプトをアーク長で追跡し、客観的に整合したガウスカーネルによるプロンプトを情報的グループの予測確率倍にし、変化しないGRPO更新のための情報的グループのみを保持し、予測された収率が最短のスラック内に留まる最も難しい目標に向かって目標をペースさせる。 6つの数学的推論ベンチマークと3つのバックボーンで、ARCUSはGRPOの平均精度を2.8～2.9ポイント、ダイナミックサンプリングを1.1～1.2ポイント改善し、動的サンプリングよりも48～57倍少ないロールアウトを生成する。

関連論文リスト

• CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning [50.78598181844571]
  グループ相対ポリシー最適化は、同じプロンプトのロールアウトにまたがる報酬の集中と正規化によって、利点を計算します。 ピアソン相関係数に対の共分散を正規化する相関正規化GRPOを提案する。 これにより、大きな報酬成分に支配される正規化を伴わずに、有利な大きさで報酬相関に適応することができる。
  論文  参考訳（メタデータ） (2026-09-29T06:30:02Z)
• EGGROLL, Unrolled: Understanding and Improving Low-Rank Evolution Strategies at Scale [9.562123195246393]
  EGGROLL は高密度ガウス重摂動を低ランクガウス積に置き換えることで LLM の進化戦略を実践する。 有限人口推定器の誤差を解析する。 退避推定器であるLOO-ROLLは、EGGROLLの2つのアンチセティック評価を1方向に置き換えつつ、有限ランクの個体群を保存する。
  論文  参考訳（メタデータ） (2026-09-10T01:58:02Z)
• Why Sample What You Can Enumerate? Exact Policy Optimization for Genomic Tool Selection [23.92446384027772]
  凍結した推論子による強化学習は、外部ツールが呼び出すポリシーを教える一般的なレシピとなっている。 本手法は, ツール・サブセット空間の完全化が可能な専門的な科学的環境において, 構造的に不一致となることを示す。 FGPOを導入し、すべてのツールサブセットをスコアし、正確なアクション期待を最適化します。
  論文  参考訳（メタデータ） (2026-09-09T14:20:47Z)
• Agent-G$^2$: Gaussian Guidance for Agentic Reinforcement Learning [29.13920135925512]
  Agent-G$2$は、政策最適化のためにオンラインで見積もられているガウシアンからタスク毎の深さを引き出す。 我々は ALFWorld と WebShop の Agent-G$2$ を Qwen2.5-1.5B / 7B-Instruct で評価した。
  論文  参考訳（メタデータ） (2026-08-24T14:34:34Z)
• Adaptive $k$ Nearest Neighbors Classifier via Granular Ball Computing [60.23863579199315]
  k$-Nearest Neighbor(KNN)アルゴリズムは様々なタスクで広く使われている。 本稿では,粒度計算による適応的かつ効率的なKNN手法を提案する。
  論文  参考訳（メタデータ） (2026-08-13T07:39:46Z)
• LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
  フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる 既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。 本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
  論文  参考訳（メタデータ） (2026-08-06T04:47:57Z)
• MC-GRPO: Median-Centered Group Relative Policy Optimization for Small-Rollout Reinforcement Learning [11.456510890703994]
  グループ相対ポリシー最適化手法は,プロンプト毎に複数のロールアウトを生成することで,言語モデルを訓練する。 ロールアウト予算が小さいリソース制約のある環境では、精度が低下することが多い。 我々は,小規模ロールアウト学習のためのシンプルかつ効果的なソリューションであるMC-GRPO(Median-Centered Group Relative Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-01-30T05:24:51Z)
• BranchGRPO: Stable and Efficient GRPO with Structured Branching in Diffusion Models [57.304411396229035]
  BranchGRPOは、ロールアウトプロセスを分岐木に再構成する手法である。 HPDv2.1イメージアライメントでは、BranchGRPOはDanceGRPOよりも最大でtextbf16%のアライメントスコアを改善する。 ハイブリッド版であるBranchGRPO-MixはDanceGRPOよりも4.7倍の速度でトレーニングを加速する。
  論文  参考訳（メタデータ） (2025-09-07T12:53:06Z)
• Geometric-Mean Policy Optimization [117.05113769757172]
  グループ相対政策最適化(GRPO)は,大規模言語モデルの推論能力を大幅に向上させた。 GRPOは、不利な重要度重み付けされた報酬を持つトークンに直面すると、不安定なポリシー更新に悩まされる。 本稿では,GRPOの安定性を向上させるために,トークン報酬の出力を抑えることにより,GMPO(Geometric-Mean Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2025-07-28T09:54:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。