論文の概要: GCPO: Diagnosing and Constraining Subspace Geometry in Rollout RL for LLMs

• arxiv url: http://arxiv.org/abs/2608.11674v1
• Date: Wed, 12 Aug 2026 05:32:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.473608
• Title: GCPO: Diagnosing and Constraining Subspace Geometry in Rollout RL for LLMs
• Title（参考訳）: GCPO:LLM用ロールアウトRLにおける部分空間形状の診断と制約
• Abstract要約: プリミティブ・サブスペース・オーバーラップ(Principal-Subspace Overlap)は、事前訓練された重みの支配的な特異部分空間に対する個々のロールアウト更新の次元補正尺度である。 本稿では,補完部分空間の更新を厳密に規制するためにハードバイダプロジェクションを適用したGCPOを提案する。 本研究は,新しい診断レンズと安定な強化学習のための設計視点を提供する。
• 参考スコア（独自算出の注目度）: 40.53507207838462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy rollout methods such as GRPO are central to post-training of large language models, yet they frequently suffer from training instabilities, cross-task capability degradation, and response-length inflation. Although prior work has characterized the subspace geometry of aggregate updates, the stepwise variation of this geometry and its relationship to model performance remain unclear. We introduce Principal-Subspace Overlap, a dimension-corrected measure of individual rollout updates relative to the dominant singular subspaces of pretrained weights. Despite low average overlap, transient spikes often precede performance degradation. To address this, we propose GCPO (Geometrically Constrained Policy Optimization), which applies hard bilateral orthogonal projections to constrain updates to the complementary subspaces, preventing such excursions by construction. Across mathematical reasoning, code generation, and tool-use tasks on Qwen3-8B and GLM4-9B, GCPO consistently outperforms GRPO and recent variants, including DAPO and GSPO, improving over the base models and the strongest baseline by up to 27.69 and 2.37 points, respectively. Furthermore, GCPO preserves general capabilities, eliminates response-length inflation, and stabilizes policy entropy. Our findings provide a new diagnostic lens and a principled design perspective for stable reinforcement learning post-training.
• Abstract（参考訳）: GRPOのようなオンラインのロールアウト方式は、大規模な言語モデルのポストトレーニングの中心であるが、トレーニングの不安定さ、クロスタスク能力の劣化、応答長のインフレーションに悩まされることが多い。 以前の研究は集合更新のサブスペース幾何学を特徴付けてきたが、この幾何学の段階的変化とモデル性能との関係はいまだ不明である。 プリミティブ・サブスペース・オーバーラップ(Principal-Subspace Overlap)は、事前訓練された重みの支配的な特異部分空間に対する個々のロールアウト更新の次元補正尺度である。 平均的なオーバーラップは低いが、過渡スパイクは性能劣化に先行することが多い。 これを解決するために,両方向の厳密な直交射影を適用したGCPO(Geometrically Constrained Policy Optimization)を提案する。 Qwen3-8B と GLM4-9B の数学的推論、コード生成、ツール使用タスク全体において、GCPO はGRPO と GSPO を含む最近の変種を一貫して上回り、ベースモデルと最強のベースラインをそれぞれ 27.69 と 2.37 まで改善している。 さらに、GCPOは一般的な能力を保ち、応答長のインフレーションを排除し、政策エントロピーを安定化する。 本研究は,新しい診断レンズと安定な強化学習のための設計視点を提供する。

関連論文リスト

• Self-Evolving Spatial Reasoning in Vision Language Models via Geometric Logic Consistency [53.28076739140119]
  本稿では,視覚・言語モデル(VLM)における論理的一貫性を幾何学的・言語的双対性演算によって実現する枠組みを提案する。 SAGEは、従来のGRPO法に比べてモデルに依存しず、データ効率が良く、既存のVLMに軽量な後学習段階として適用することができる。 ビデオおよび空間推論ベンチマークの実験では、強いベースラインよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-05-18T10:05:21Z)
• Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
  テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。 SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。 SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-11T17:59:25Z)
• Beyond Alignment: Expanding Reasoning Capacity via Manifold-Reshaping Policy Optimization [1.974921946982281]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLM)の推論能力の向上に成功している。 近年の研究では、RLが推論能力を真に拡張するか、あるいは既存の潜在能力を単に整合させるかが疑問視されており、探索は事前訓練されたモデルの低ランクバイアス多様体に限られていると主張している。 我々は,LLMの推論空間を根本的に再構成する幾何学的フレームワークであるマニフォールド変換ポリシー最適化(MRPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-30T05:38:44Z)
• One Ring to Rule Them All: Unifying Group-Based RL via Dynamic Power-Mean Geometry [40.539393367855176]
  グループベース強化学習はGRPOの算術平均からGMPOの幾何学平均へと進化してきた。 我々はこれらのアプローチを,集約幾何学をパラメータ化する一般化されたフレームワークであるPMPO(Power-Mean Policy Optimization)の下で統一する。 我々は,p調整が勾配更新の濃度を調節し,その利点に基づいてトークンを効果的に再重み付けすることを示した。
  論文  参考訳（メタデータ） (2026-01-30T03:58:54Z)
• Adaptive-Boundary-Clipping GRPO: Ensuring Bounded Ratios for Stable and Generalizable Training [7.404779700134294]
  Adaptive-Boundary-Clipping GRPO (ABC-GRPO) はオリジナルのGRPOフレームワークの非対称かつ適応的な改良である。 ABC-GRPOは数学的推論タスクにおける標準GRPOよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2026-01-07T13:04:52Z)
• Can LLMs Guide Their Own Exploration? Gradient-Guided Reinforcement Learning for LLM Reasoning [44.07085022671951]
  新しい勾配方向を導入する軌道は、有界乗算型報酬スケーラを受信する。 G2RLは、エントロピーベースのGRPOおよび外部埋め込みメソッドよりも、pass@1、maj@16、pass@kを一貫して改善する。
  論文  参考訳（メタデータ） (2025-12-17T18:44:45Z)
• GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping [63.33669214116784]
  GRPO-Guardは、既存のGRPOフレームワークのシンプルで効果的な拡張である。 PPOクリッピングが有害な更新を適切に制限することを保証するため、バランスとステップ一貫性の重要度を回復する。 重いKL正則化に頼ることなく、暗黙の過最適化を実質的に緩和する。
  論文  参考訳（メタデータ） (2025-10-25T14:51:17Z)
• PointNSP: Autoregressive 3D Point Cloud Generation with Next-Scale Level-of-Detail Prediction [87.33016661440202]
  自動回帰ポイントクラウド生成は、長い間、拡散ベースの品質アプローチに遅れを取ってきた。 低解像度で大域的な形状を保った粗大な生成フレームワークであるPointNSPを提案する。 ShapeNetの実験によると、PointNSPは自己回帰パラダイムの中で初めて、最先端(SOTA)生成品質を確立している。
  論文  参考訳（メタデータ） (2025-10-07T06:31:02Z)
• GeometryZero: Improving Geometry Solving for LLM with Group Contrastive Policy Optimization [63.107398132743825]
  Group Contrastive Policy Optimization(GCPO)は、2つの重要なイノベーションを特徴とする新しい強化学習フレームワークである。 我々はGeometryZeroを開発した。GeometryZeroは、手頃なサイズの幾何学的推論モデルで、補助的な建設をいつ行うべきかを判断する。
  論文  参考訳（メタデータ） (2025-06-08T14:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。