論文の概要: Dual-Channel Robust Group-Relative Policy Optimization via Advantage and Sequence-Weight Estimation

• arxiv url: http://arxiv.org/abs/2609.36944v1
• Date: Tue, 29 Sep 2026 07:53:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.295639
• Title: Dual-Channel Robust Group-Relative Policy Optimization via Advantage and Sequence-Weight Estimation
• Title（参考訳）: Dual-Channel Robust Group-Relative Policy Optimization via Advantage and Sequence-Weight Estimation
• Abstract要約: グループ相対的な政策最適化は報酬に基づく利点と列レベルの可能性重みに依存している。 極度の報酬は、グループ正規化後のクリーンレスポンスのコントラストを崩壊させる可能性がある。 トークンレベルの対数比の摂動はシーケンスの重みを変え、決定をクリップすることができる。 本稿では、これらの障害モードを別々に扱うデュアルチャネルロバストであるRoVR-GSPOを紹介する。
• 参考スコア（独自算出の注目度）: 26.436583392853947
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Group-relative policy optimization relies on reward-derived advantages and sequence-level likelihood weights, both of which can be sensitive to localized outliers. Extreme rewards can collapse the contrast among clean responses after group normalization, while token-level log-ratio perturbations can alter sequence weights and clipping decisions. We introduce RoVR-GSPO, a dual-channel robust optimizer that addresses these failure modes separately. Its reward channel combines robust reference estimation with bounded residual credit, while its ratio channel uses differentiable SoftRoVR aggregation to construct robust sequence weights. We provide stability and efficiency analyses for both channels. Experiments on mathematical reasoning, long-context summarization, and tool-call annotation show consistent improvements over GSPO, while controlled perturbation studies demonstrate stronger robustness to reward contamination and token-ratio anomalies.
• Abstract（参考訳）: グループ相対的な政策最適化は報酬に起因した利点とシーケンスレベルの可能性重みに依存しており、どちらも局所的な外れ値に敏感である。 極度の報酬はグループ正規化後のクリーンレスポンスのコントラストを崩壊させ、トークンレベルの対数比の摂動はシーケンスの重みやクリップの決定を変える。 本稿では、これらの障害モードを別々に扱うデュアルチャネルロバスト最適化器であるRoVR-GSPOを紹介する。 その報酬チャネルは、ロバストな参照推定と有界な残差クレジットを組み合わせ、比チャネルは、ロバストなシーケンス重みを構築するために微分可能なSoftRoVRアグリゲーションを使用する。 両チャネルの安定性と効率性の解析を行う。 数学的推論、長文要約、ツールコールアノテーションの実験はGSPOよりも一貫した改善を示し、制御摂動の研究は汚染やトークン比の異常を補償する強い堅牢性を示している。

関連論文リスト

• Distribution-Aware Robust Bilevel Optimization: Quantile-Guided Huber Updates in Two-Timescale Stochastic Approximation [16.106678611834102]
  双レベル最適化(BLO)は階層的な決定には基本的だが、重み付き雑音下での臨界不安定性に悩まされている。 既存の技術は通常、等級チェックに依存しており、情報的幾何学的信号と外れ値の区別に失敗する。
  論文  参考訳（メタデータ） (2026-06-21T10:57:37Z)
• Momentum for Reasoning: Dense Intrinsic Signals in Policy Optimization [31.547614109943158]
  検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルにおける長鎖推論の強力なパラダイムとして登場した。 提案手法は,最終回答に対する思考軌跡の情報量を測定するシーケンスレベル信号と,重要な決定トークンにおける確実な予測を円滑化させるトークンレベル指向報酬とを組み合わせ,ISPO(Intrinsic Signal Policy Optimization)を提案する。 ISPOは競争ベースラインを一貫して上回り、ゼロアドバンテージ崩壊が最も頻繁なベンチマークで最大の利益を上げ、トレーニング力学診断では両方の障害モードが減少していることを確認した。
  論文  参考訳（メタデータ） (2026-06-07T20:08:36Z)
• Residual-Controlled Multiplier Learning for Stochastic Constrained Decision-Making [12.04727482907937]
  CMLは、ミニバッチ条件下での一次フィードバック乗算器のノイズを追跡する問題に対処する。 乗算器を有限ゲイン乗算器と原始降下のための有効圧力信号に分解する。
  論文  参考訳（メタデータ） (2026-06-05T09:35:22Z)
• Precise: SDE-Consistent Stochastic Sampling for RL Post-Training of Flow-Matching Models [56.67321805551389]
  Reinforcement Learning (RL) は, 拡散・流れマッチングジェネレータにおいて, 迅速なアライメントと知覚品質の向上に有効な方法となっている。 探索行動の制御と力学のデノベーションを行うサンプルは、この方針の一部である。 有効探査と安定性のバランスをとる新しいサンプリング器を提案する。
  論文  参考訳（メタデータ） (2026-05-22T11:37:22Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• GFT: From Imitation to Reward Fine-Tuning with Unbiased Group Advantages and Dynamic Coefficient Rectification [37.24414986596345]
  Group Fine-Tuning (GFT) は、大規模言語モデルのための統合後トレーニングフレームワークである。 GFTは一貫してSFTベースの手法を超越し、その後のRLトレーニングとよりスムーズな統合を図っている。
  論文  参考訳（メタデータ） (2026-04-15T15:49:58Z)
• Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。 標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。 トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
  論文  参考訳（メタデータ） (2026-04-14T09:48:46Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• On the Plasticity and Stability for Post-Training Large Language Models [54.757672540381236]
  塑性と安定性勾配の矛盾として根本原因を同定する。 本稿では,確率的衝突解決法(PCR)を提案する。 PCRはトレーニングの軌道を著しく滑らかにし、様々な推論タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-06T07:31:26Z)
• Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
  グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。 我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。 OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2026-01-12T10:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。