論文の概要: Predictable GRPO: A Closed-Form Model of Training Dynamics

• arxiv url: http://arxiv.org/abs/2606.30789v1
• Date: Mon, 29 Jun 2026 18:19:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:18.966249
• Title: Predictable GRPO: A Closed-Form Model of Training Dynamics
• Title（参考訳）: 予測可能なGRPO:トレーニングダイナミクスのクローズドフォームモデル
• Abstract要約: グループ相対政策最適化は、大規模言語モデルの推論能力を改善するための標準ツールとなっている。 我々はこれらの力学の第一原理還元次モデルを開発する。 3つのモデルと2つのグループサイズで、クローズドフォームの軌道はトレーニング報酬をR2 geq 0.91$に適合させる。
• 参考スコア（独自算出の注目度）: 1.0537323885285492
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group Relative Policy Optimization (GRPO) has become a standard tool for improving the reasoning ability of large language models, yet its training dynamics are still described empirically: reward trajectories are fit with low-parameter functional forms whose constants carry no mechanistic meaning, and hyperparameter choices remain a matter of trial and error. We develop a first-principles reduced-order model of these dynamics. The reduction has three consequences. First, it subsumes the empirical single-exponential saturation law as its overdamped limit, recasting the fitted plateau, timescale, and size exponent as the fixed point, inverse stiffness, and curvature-scaling exponent of the underlying potential, and adding, through the retained inertial term, the slow-start phase the single exponential cannot represent. Second, it yields predictions tied to independently measurable quantities rather than fitted ones: group-size invariance of the deterministic trajectory with a $1/G$ stationary fluctuation, a sharp stability threshold in the refresh interval, and an overdamped-to-oscillatory transition. Third, it furnishes diagnostics that separate failure modes a reward curve alone conflates -- reward hacking, advantage degeneracy, policy concentration, and dynamical instability. Across three models and two group sizes, the closed-form trajectory fits training reward to $R^2 \geq 0.91$ and the predicted group-size invariance holds on both the reward curve and out-of-distribution transfer to eight math benchmarks. The stability and oscillatory predictions are exercised in a controlled exact-reduction setting where the mean-field assumption holds exactly: a softmax-bandit reduction reproduces the predicted overdamped-to-oscillatory transition and locates the refresh-interval stability threshold at the independently measured stiffness, with a deep-network demonstration left to future work.
• Abstract（参考訳）: グループ相対政策最適化(GRPO)は、大きな言語モデルの推論能力を改善するための標準ツールとなっているが、そのトレーニング力学はまだ実証的に説明されている: 報酬軌道は、定数が機械的意味を持たない低パラメータ関数形式に適合し、ハイパーパラメータの選択は試行錯誤の問題のままである。 我々はこれらの力学の第一原理還元次モデルを開発する。 削減には3つの結果がある。 まず、経験的な単一指数飽和法則を過大な限界として仮定し、固定された台地、時間スケール、サイズ指数を固定点、逆剛性、および下層のポテンシャルの曲率スケーリング指数として再キャストし、維持された慣性項を通じて単指数が表せないスロースタート位相を追加する。 第二に、決定論的軌道の集団サイズの不変度と1/G$の定常変動、リフレッシュ間隔の鋭い安定性閾値、過大な破壊から振動遷移という、適合量よりも独立に測定可能な量に結びついた予測が得られる。 第三に、障害モードの分離は、報酬のハッキング、有利な優越性、ポリシーの集中、ダイナミックな不安定性といった、報酬の曲線のみを膨らませる、という診断を提供する。 3つのモデルと2つのグループサイズにまたがって、クローズドフォーム軌道はトレーニング報酬をR^2 \geq 0.91$に適合させ、予測されたグループサイズの不変性は、報酬曲線と8つのベンチマークへのアウト・オブ・ディストリビューション転送の両方に影響を及ぼす。 平均場仮定が正確に成り立つ制御された精密還元環境では、ソフトマックス帯域縮小が予測された過度な振動遷移を再現し、独立に測定された剛性でリフレッシュ・インターバル安定性閾値を位置決めし、ディープ・ネットワーク・デモを将来の作業に残す。

関連論文リスト

• Deconstructing Off-Policy Ratios: Entropy-Scaled Trust Regions for Asynchronous Reinforcement Learning [6.667218294299622]
  非同期強化学習(RL)は、ポリシー最適化と重複するロールアウト生成によって、大規模言語モデル(LLM)の訓練後を加速する。 既存の方法では、トークンの重要度のみに基づいてトークンを保管または廃棄するのが一般的である。 本研究では,各トークンの局所的なエントロピーによるオフ・ポリティクスの偏差を拡大するエントロピー・スケール・トラスト・リージョン(ESTR)を提案する。
  論文  参考訳（メタデータ） (2026-07-24T10:55:42Z)
• Maximum Entropy Inverse Reinforcement Learning for Mean-Field Games with Average Reward [0.0]
  本研究では,平均逆条件下での平均フィールドゲーム(MFG)の逆強化学習について検討する。 我々は,専門的平均場項と長期的特徴期待との整合性を持たせることで,逆問題を定式化する。 マルウェア拡散型MFGとRKHSベースの消費者選択モデルという2つの数値例は、回復されたポリシーが専門家の行動と密接に一致していることを示している。
  論文  参考訳（メタデータ） (2026-06-15T14:13:16Z)
• When Do Autoregressive Sequence Models Forecast Physical Wavefields? A Controlled Study on Synthetic Seismograms [43.8784307709823]
  物理信号の長距離自己回帰予測は誤差蓄積によって制限される。 物理的に構造化されたテストベッドとして,合成3成分地震計を用いて,このようなロールアウトが安定であるかどうかを問う。
  論文  参考訳（メタデータ） (2026-06-09T13:46:14Z)
• A Mean-Field Analysis of Multi-Head Self-Attention under Cross-Entropy Training [0.0]
  本稿では,クロスエントロピー最小化により学習した単一層因果多頭部自己注意モデルの平均場理論について述べる。 無限の上限において、平均的な注意ログは確率測度上のリスク関数を定義し、その最初の変動は非線形ワッサーシュタイン勾配流方程式を生成する。 我々は,PDEの長期的挙動について検討する:エネルギー散逸,コンパクト性の下での定常集合への収束,トポロジカルあるいはクルディカ-オジャシエヴィチ仮定の下での1つの定常測度への収束,勾配支配条件下での明示的な収束率。
  論文  参考訳（メタデータ） (2026-06-09T06:38:27Z)
• The Stability of Singular Distribution: A Spectral Perspective on the Two-Phase Dynamics of Language Model Pre-training [48.37150760049573]
  そこで我々は, スペクトル分布の安定性 (SoSD) を推定し, そこではトレース正規化特異値スペクトルが早期に安定化する。 我々は,SoSDと緩やかな周期の同期が多種多様なアーキテクチャで広く観測されていることを実証した。 我々は、WSDやMuonのような戦略をさらに解釈し、SOSDスケールを変調し、効率的な事前学習ダイナミクスを理解するためのスペクトルレンズを提供する。
  論文  参考訳（メタデータ） (2026-05-26T03:03:24Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Precise: SDE-Consistent Stochastic Sampling for RL Post-Training of Flow-Matching Models [56.67321805551389]
  Reinforcement Learning (RL) は, 拡散・流れマッチングジェネレータにおいて, 迅速なアライメントと知覚品質の向上に有効な方法となっている。 探索行動の制御と力学のデノベーションを行うサンプルは、この方針の一部である。 有効探査と安定性のバランスをとる新しいサンプリング器を提案する。
  論文  参考訳（メタデータ） (2026-05-22T11:37:22Z)
• Recovering Physical Dynamics from Discrete Observations via Intrinsic Differential Consistency [12.266189649117003]
  我々は地域の監督をグローバルな構造的制約に置き換える。 この特性からの偏差が2つの目的に作用する時間条件のセカント速度場を訓練する。 トレーニング正則化器として、時間スケールで一貫して構成されるフローに仮説空間を限定する。
  論文  参考訳（メタデータ） (2026-05-08T20:24:32Z)
• Symmetric Equilibrium Propagation for Thermodynamic Diffusion Training [0.0]
  本稿では,2重結合型アナログ基板が,ディジタル推論よりも3～4桁のエネルギー優位性を持つ予測値において,物理的に動的に実現可能であることを示す。 我々は、外的デジタル加速器を介して勾配をルーティングすることなく、同じ基板上でエンハンチングループを閉じることができるかどうかを判定する。
  論文  参考訳（メタデータ） (2026-04-26T17:05:05Z)
• A Nonasymptotic Theory of Gain-Dependent Error Dynamics in Behavior Cloning [4.822598110892847]
  位置制御ロボットの動作クローニングポリシーは、基礎となるPDコントローラの閉ループ応答を継承する。 我々は、ゲイン依存閉ループ力学により、ガウス以下の独立な動作誤差が伝播することを示す。
  論文  参考訳（メタデータ） (2026-04-15T23:53:09Z)
• Momentum Further Constrains Sharpness at the Edge of Stochastic Stability [0.5405981353784005]
  最近の研究は(確率的な)勾配降下が不安定な境界付近で自己組織化し、最適化と解の両方を形作ることを示唆している。 運動量を持つSGDは、バッチサイズ依存の挙動を持つ安定性のエッジ(EoSS)のような状態を示す。
  論文  参考訳（メタデータ） (2026-04-15T17:28:46Z)
• Non-Equilibrium Stochastic Dynamics as a Unified Framework for Insight and Repetitive Learning: A Kramers Escape Approach to Continual Learning [0.0]
  ニューラルネットワークにおける連続学習は、安定性-塑性ジレンマによって根本的に制限される。 両問題が非平衡統計物理学における共通解であることを示す。
  論文  参考訳（メタデータ） (2026-04-05T15:42:23Z)
• A Generative Sampler for distributions with possible discrete parameter based on Reversibility [9.349846971147256]
  本稿では,多種多様な状態空間にまたがって適用可能な,統一的かつ段階的な目標自由な生成サンプリングフレームワークを提案する。 我々は,前方と後方のマルコフ軌道の関節分布の最大平均差 (MMD) を最小化する。 実験により,本フレームワークは熱力学観測器を正確に再現し,すべてのレシエーションでモードスイッチング動作を捉えていることがわかった。
  論文  参考訳（メタデータ） (2026-03-10T06:32:51Z)
• Plug-and-Play Diffusion Meets ADMM: Dual-Variable Coupling for Robust Medical Image Reconstruction [45.25461515976432]
  画像再構成のための強力なパラダイムとして,DP(Plug-and-Play diffusion prior)フレームワークが登場した。 本稿では, バイアス・ハロシン化トレードオフを解消し, 収束を著しく加速した最先端の勾配を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2026-02-26T16:58:43Z)
• Forecasting as Rendering: A 2D Gaussian Splatting Framework for Time Series Forecasting [79.37674445572462]
  時系列予測(TSF)は、周期内変動と周期間トレンドの複雑な絡み合いのため、依然として困難な問題である。 形状変化テンソルを静止画像として扱うと、トポロジカルミスマッチが発生する。 均一な固定サイズの表現に依存することは、モデリング能力を非効率に割り当てる。 TimeGSは、予測パラダイムをレグレッションから2D生成レンダリングに根本的にシフトする、新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-02-10T14:13:36Z)
• Mutual Information Collapse Explains Disentanglement Failure in $β$-VAEs [4.155522769716163]
  $-VAEは、教師なしのアンカンジメントのためのフレームワークである。 MIGやSAPなどのベンチマークは、通常、中間の$でピークに達し、正規化が増加するにつれて崩壊する。 情報崩壊から正規化圧力を分離する$-VAEを導入する。
  論文  参考訳（メタデータ） (2026-02-09T23:38:11Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。