論文の概要: Dropout-GRPO: Variational Stochasticity for Continuous Latent Reasoning

• arxiv url: http://arxiv.org/abs/2606.10184v1
• Date: Mon, 08 Jun 2026 21:21:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.197486
• Title: Dropout-GRPO: Variational Stochasticity for Continuous Latent Reasoning
• Title（参考訳）: Dropout-GRPO:連続潜時推論における変分確率
• Authors: Wooil Jung,
• Abstract要約: Coconutのような潜在推論モデルは、個別のチェーンオブソートトークンの代わりに、継続的に隠れた状態をフィードする。 グループ関係強化学習を継続的潜在推論に適用することは困難であることが証明された。 1つのベルヌーイマスクを与えられたロールアウトに対して全ての遅延繰り返しステップで一定に保持することにより、本質的な軌道分散を生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group Relative Policy Optimization (GRPO) relies on the diversity of $K$ rollouts within each group; otherwise, the group-mean advantage $A^{(k)} = r^{(k)} - μ_r$ collapses to zero. This presents a structural challenge for latent-reasoning models like Coconut, which feed continuous hidden states recurrently in place of discrete chain-of-thought tokens. Because the latent phase is inherently deterministic given the parameters and prompt, multiple rollouts produce identical trajectories, stalling GRPO's progress. Consequently, applying group-relative reinforcement learning to continuous latent reasoning has proven difficult. To address this, we propose sourcing the necessary stochasticity through structured dropout. By applying a single Bernoulli mask held constant across all latent recurrence steps for a given rollout, we generate essential trajectory variance. This shared mask effectively treats each rollout as a posterior sample from a variational distribution over parameters, allowing GRPO to optimize the expected reward of a Bayesian model-average policy. We provide both theoretical justification for this method -- including unbiasedness, variance reduction, and the well-definedness of the latent gradient -- and empirical validation. On GSM8K, dropout-GRPO improves a Coconut baseline from $27.29\%$ to $29.01\%$ pass@1, demonstrating the viability of GRPO learning for latent-reasoning models. Our work positions this as a practical, theoretically grounded approach for post-training latent-reasoning LLMs.
• Abstract（参考訳）: グループ相対政策最適化(GRPO)は、各群における$K$のロールアウトの多様性に依存するが、そうでなければ、グループ平均の利点は$A^{(k)} = r^{(k)} - μ_r$の崩壊である。 これはCoconutのような遅延推論モデルにおいて、個別の連鎖トークンの代わりに連続的に隠れた状態を繰り返し供給する構造的な課題を示す。 遅延位相はパラメータとプロンプトから本質的に決定論的であるため、複数のロールアウトは同じ軌道を発生させ、GRPOの進行を妨げている。 その結果,グループ関係強化学習を連続的潜在推論に適用することは困難であることが判明した。 これを解決するために,構造化されたドロップアウトにより,必要な確率性を抽出する手法を提案する。 1つのベルヌーイマスクを与えられたロールアウトに対して全ての遅延繰り返しステップで一定に保持することにより、本質的な軌道分散を生成する。 この共有マスクは、各ロールアウトをパラメータの変動分布から後方サンプルとして効果的に扱い、GRPOはベイズ平均値ポリシーの期待される報酬を最適化することができる。 本手法の理論的正当性 – 不偏性,分散低減,潜伏勾配の明瞭度など – と経験的検証 – の両方を提供する。 GSM8Kでは、ドロップアウト-GRPOはココナッツのベースラインを27.29 %$から29.01 %$pass@1に改善し、潜在推論モデルのGRPO学習の実現可能性を示している。 我々の研究は、これを実践的、理論的に基礎づけた、学習後遅延型LDMのアプローチとして位置づけている。

関連論文リスト

• Beyond Mode Collapse: Distribution Matching for Diverse Reasoning [69.88237286885065]
  GRPOのようなオンライン強化学習手法はモード崩壊に悩まされる。 このことは、逆KL最小化のモード探索行動に由来することを示す。 KL最小化の原理的近似によりモード崩壊を防止するDMPOを提案する。
  論文  参考訳（メタデータ） (2026-05-19T07:13:00Z)
• Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
  グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。 チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
  論文  参考訳（メタデータ） (2026-05-12T03:20:24Z)
• Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective [22.848847562976633]
  トークンレベルのIS比は、PPOとGRPOが採用しているように、プレフィックス状態の分布ミスマッチを無視してバイアスを導入する。 我々は、累積トークンIS比と、累積対数比の自然な$sqrtt$成長に応じて、対数空間のクリップ境界を拡大する位置適応クリッピングを組み合わせたCTPOを提案する。
  論文  参考訳（メタデータ） (2026-05-08T06:35:02Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• When Right Meets Wrong: Bilateral Context Conditioning with Reward-Confidence Correction for GRPO [18.988527161000203]
  グループ相対政策最適化(GRPO)は、推論モデルを訓練するための効果的な方法として登場した。 本稿では,GRPOの目的が正解率と正解率とのマージンを暗黙的に最大化することを示す。 本稿では,モデルが相互参照を成功させる機構であるバイラテラルコンテキストコンディショニング(BICC)を提案する。
  論文  参考訳（メタデータ） (2026-03-13T16:25:02Z)
• Distribution-Centric Policy Optimization Dominates Exploration-Exploitation Trade-off [34.80019950191864]
  我々は、強化学習のためのtextbfdistribution中心の視点を導入する。 本稿では,分布レベルの正規化としてエントロピー規制を再構成する分散中心政策最適化(DCPO)を提案する。 全体として、DCPOはサンプルレベルの原則を分散レベルの原則に置き換え、理論的に基礎とフレキシブルなフレームワークを提供し、EEのトレードオフを強化します。
  論文  参考訳（メタデータ） (2026-01-19T05:20:46Z)
• Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
  スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。 提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。 合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
  論文  参考訳（メタデータ） (2023-10-03T20:37:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。