論文の概要: SALT: When More Rollouts Don't Help in Group-Based Policy Optimization and How to Make Them Matter

• arxiv url: http://arxiv.org/abs/2606.05800v1
• Date: Thu, 04 Jun 2026 07:29:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.623467
• Title: SALT: When More Rollouts Don't Help in Group-Based Policy Optimization and How to Make Them Matter
• Title（参考訳）: SALT: グループベースの政策最適化により多くのロールアウトが役に立たない場合と課題
• Abstract要約: 検証可能な報酬による強化学習は、GRPOスタイルのグループ関連更新を採用することが多い。 GRPOスタイルの群正規化の下では、ロールアウトポリシー段階の特徴はローランクな符号付き幾何に集中することができる。 サブスペース適応幾何学 pLug-in componenT である SALT を用いて,この障害モードに対処する。
• 参考スコア（独自算出の注目度）: 9.506175719110136
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) often adopts GRPO-style group-relative updates, sampling multiple rollouts per prompt to construct normalized learning signals. However, merely increasing the number of rollouts does not reliably strengthen learning: under GRPO-style group normalization, per-rollout policy-gradient features can concentrate into a low-rank, signed geometry, causing substantial cancellation during aggregation and weakening the effective update. We address this failure mode with SALT, a Subspace-Adaptive geometry pLug-in componenT that uses sample-wise gradient geometry to reweight the coefficients of group-relative updates. SALT estimates a dominant shared subspace from the mini-batch Gram geometry, decomposes group-relative coefficients into shared and residual channels, and adaptively amplifies the residual channel when signed cancellation is severe. Across diverse reasoning-oriented RLVR benchmarks and model scales, SALT improves effective update geometry and performance without modifying the reward model or the rollout sampling procedure
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、GRPOスタイルのグループ関係更新を採用し、プロンプト毎に複数のロールアウトをサンプリングし、正規化学習信号を構成する。 しかし、単にロールアウトの数を増やすだけでは学習が確実に強化されない:GRPOスタイルの群正規化の下では、ロールアウトごとのポリシー段階の機能はローランクで署名された幾何学に集中でき、集約中に大幅にキャンセルされ、効果的な更新が弱まる。 本稿では,サブスペース適応幾何 pLug-in コンポネンT を用いて,グループ相対更新係数の重み付けを行う。 SALTは、ミニバッチグラム幾何から支配的な共有部分空間を推定し、グループ相対係数を共有チャネルと残留チャネルに分解し、符号付きキャンセルが厳しい場合には残留チャネルを適応的に増幅する。 多様な推論指向RLVRベンチマークとモデルスケールにわたって、SALTは報酬モデルやロールアウトサンプリング手順を変更することなく、効率的な更新幾何学と性能を改善した。

関連論文リスト

• Group Adaptive Clipping Policy Optimization [11.199441103932847]
  検証可能な報酬を伴う強化学習のためのグループ相対的政策最適化は、すべてのロールアウトに対して、固定重要サンプリング(IS)比クリッピング境界を用いる。 GAPO(Group Adaptive Clipping Policy Optimization)は、GRPOメソッドのプラグイン修正であり、クリッピング境界をロールアウトの利点に適応させる。 GAPOは報酬形成を必要とせず、クリッピング閾値のみを適用しながら標準のPPO/GSPOサロゲートを保持する。
  論文  参考訳（メタデータ） (2026-08-31T22:32:32Z)
• Uncovering and Mitigating Aggregation-Induced Reward Hacking in Multi-Reward Reinforcement Learning [10.293423808492678]
  Adaptive Multi-Reward Projection (AMRP) は、3つの信号、相対的不足、報酬のボラティリティ、最近の進歩を用いて集約重みを再配置する軽量なオンライン手法である。 AMRPは、固定および動的重み付けベースラインに対する報奨バランスとダウンストリームパフォーマンスを一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-31T18:24:22Z)
• Geo-LoRA: Geometry-Aware Subspace Evolution for Low-Rank Adaptation in Continual Learning [0.304585143845864]
  Geo-LoRAは、連続学習中に低ランクのサブスペースがどのように進化するかを制御する幾何学的なフレームワークである。 Geo-LoRAは、連続的な低ランク適応のための原則的な幾何学的定式化を提供し、一貫して最先端の性能を達成する。
  論文  参考訳（メタデータ） (2026-08-27T11:00:50Z)
• One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。 本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
  論文  参考訳（メタデータ） (2026-05-21T08:25:27Z)
• Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective [10.958642517467721]
  RLVRにおけるコントラストシーケンスレベルのポリシー最適化のためのフレームワークを提案する。 ConSPOはGRPOのクリップされた比率ベースのスコアを、長さ正規化されたシーケンスログ確率に置き換える。 ConSPOは、挑戦的な数学的推論ベンチマークにおいて、いくつかの強力なRLVRベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-13T04:02:36Z)
• Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
  テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。 SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。 SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-11T17:59:25Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。 標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。 トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
  論文  参考訳（メタデータ） (2026-04-14T09:48:46Z)
• SAGE: Sequence-level Adaptive Gradient Evolution for Generative Recommendation [8.54123828673921]
  本稿では,リストワイド生成レコメンデーションに適した統一最適化フレームワークを提案する。 シーケンスレベルの信号デカップリング: 幾何平均的重要性比と分離された多目的の利点を組み合わせることにより、トークンレベルの分散を排除します。 非対称適応ダイナミクス: 超線形更新を実現するために、高強度冷間開始項目に「ブーストファクタ」を適用した動的勾配多様体を構築する。
  論文  参考訳（メタデータ） (2026-01-29T09:30:13Z)
• Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training [47.26632817047513]
  大規模言語モデル(LLM)に推論タスクに適用された強化学習は、不安定な勾配推定によってボトルネックとなることが多い。 LLMのオンラインRLポストトレーニングのための適応型サンプリングフレームワークであるReinforce-Adaを提案する。 従来の2段階配置法とは異なり、Reinforce-Adaはオンライン連続除去プロセスにおける推定とサンプリングをインターリーブする。
  論文  参考訳（メタデータ） (2025-10-06T16:34:09Z)
• Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
  検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。 ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。 PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
  論文  参考訳（メタデータ） (2025-04-18T17:49:55Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。