論文の概要: HISPO: Hierarchical Importance-Sampling Policy Optimization with Entropy-Derived Segments
- arxiv url: http://arxiv.org/abs/2609.15471v1
- Date: Mon, 14 Sep 2026 12:29:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.324231
- Title: HISPO: Hierarchical Importance-Sampling Policy Optimization with Entropy-Derived Segments
- Title（参考訳）: HISPO:エントロピー依存セグメントを用いた階層的重要度サンプリングポリシー最適化
- Abstract要約: 検証可能な報酬(RLVR)を用いた強化学習は、言語モデルにおける数学的推論を改善するための中心的なアプローチとなっている。
解トレースの異なる部分が最終的な正しさに不均一に寄与する可能性がある。
ロールアウト時間エントロピー由来の連続セグメントを構成するセグメントレベルのポリシー最適化手法である階層的重要度サンプリングポリシー最適化(HISPO)を導入する。
- 参考スコア（独自算出の注目度）: 3.6883184884620004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) has become a central approach for improving mathematical reasoning in language models, but long-form completions introduce a difficult credit-assignment problem: different parts of a solution trace may contribute unevenly to final correctness. Existing policyoptimization objectives for RLVR commonly apply importance-sampling correction at either the token level (GRPO, DAPO) or the sequence level (GSPO), imposing different granularities for assigning credit across a response. We introduce Hierarchical Importance-Sampling Policy Optimization (HISPO), a segment-level policy-optimization method that constructs rollout-time entropy-derived contiguous segments, assigns soft entropy-based saliency weights, and applies clipped importance-sampling correction at the segment granularity. This provides an intermediate correction unit between token-level GRPO/DAPO and sequence-level GSPO. We evaluate HISPO by fine-tuning Qwen3-1.7B-Base on mathematical reasoning tasks. Across six benchmarks, HISPO improves Pass@8 over the strongest baseline on all benchmarks and matches or exceeds the strongest baseline in Acc@8 on five of them. On AIME25, HISPO improves over GRPO by +3.75 Acc@8 and +3.78 Pass@8, and over GSPO by +2.50 Acc@8 and +1.27 Pass@8. These results suggest that segment-level correction is a promising granularity for RLVR in long-form mathematical reasoning.
- Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、言語モデルにおける数学的推論を改善するための中心的なアプローチとなっているが、ロングフォーム補完は難しい信用割当問題をもたらす:解トレースの異なる部分が最終的な正しさに不均一に寄与する。
既存のRLVRのポリシー最適化目的は、一般的にトークンレベル(GRPO、DAPO)またはシーケンスレベル(GSPO)で重要サンプリング補正を適用し、応答間でクレジットを割り当てるための異なる粒度を付与する。
HISPO(Hierarchical Importance-Sampling Policy Optimization)は、ロールアウト時エントロピー由来の連続セグメントを構築し、ソフトエントロピーベースサリエンシ重みを割り当てるセグメントレベルのポリシー最適化手法である。
これにより、トークンレベルGRPO/DAPOとシーケンスレベルGSPOの中間補正ユニットが提供される。
数学的推論タスクに基づいてQwen3-1.7B-Baseを微調整してHISPOを評価する。
6つのベンチマークで、HISPOはPass@8をすべてのベンチマークで最強のベースラインで改善し、5つのベンチマークでAcc@8で最強のベースラインを超えた。
AIME25では、HISPOはGRPOを+3.75 Acc@8と+3.78 Pass@8で、GSPOを+2.50 Acc@8と+1.27 Pass@8で改善している。
これらの結果から, セグメントレベルの補正は, 長期数学的推論におけるRLVRにとって有望な粒度であることが示唆された。
関連論文リスト
- Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation [13.272542054938258]
非効率な勾配でトレーニングバッチの割合を定量化する最初の指標であるAdvantage Collapse Rate (ACR)を導入する。
次に、仮想報酬サンプルを注入するGRPOの軽量拡張であるAdaptive Virtual Sample Policy Optimization (AVSPO)を提案する。
AVSPOはGRPOに対して58～63%の利害崩壊を減少させ、すべてのモデルスケールで4～6ポイントの一貫した精度向上をもたらす。
論文 参考訳（メタデータ） (2026-05-20T12:57:37Z) - DACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language Models [9.199240801552302]
GRPO型トレーナーのプラグ・アンド・プレイ・エンハンスメントであるGRPO(DACA-GRPO)に対するDenoising-Aware Credit Assignmentを提案する。
DACA-GRPOは、数学的推論、コード生成、制約満足度、制約付き生成を含む7つのベンチマークで一貫した改善を実現している。
論文 参考訳（メタデータ） (2026-05-08T01:02:31Z) - GRPO-VPS: Enhancing Group Relative Policy Optimization with Verifiable Process Supervision for Effective Reasoning [48.32628338889922]
グループ相対政策最適化は中間段階の無差別な信用割当に苦しむ。
モデルフリーで検証可能なプロセス監視を,モデルが正しい回答を信じているかどうかを判断することによって導入する。
このアプローチにより、よりターゲット的でサンプル効率の良いポリシー更新が可能になる。
論文 参考訳（メタデータ） (2026-04-22T15:08:58Z) - Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。
標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。
トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
論文 参考訳（メタデータ） (2026-04-14T09:48:46Z) - iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。
IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。
一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
論文 参考訳（メタデータ） (2026-02-09T18:45:11Z) - Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。
我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。
OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
論文 参考訳（メタデータ） (2026-01-12T10:48:02Z) - MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。
我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。
本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
論文 参考訳（メタデータ） (2026-01-12T05:02:48Z) - Orchestrating Tokens and Sequences: Dynamic Hybrid Policy Optimization for RLVR [31.43482175098666]
Reinforcement Learning with Verifiable Rewards (RLVR)は,大規模言語モデルを推論タスクで最適化するための,有望なフレームワークを提供する。
既存のRLVRアルゴリズムは様々な粒度に重点を置いており、それぞれに相補的な強度と制限がある。
本稿では, GRPO と GSPO を単一のクリッピングサロゲート対象にブリッジする動的ハイブリッドポリシー最適化 (DHPO) を提案する。
論文 参考訳（メタデータ） (2026-01-09T07:57:40Z) - Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
VGPOは時間次元とグループ次元の両方で値の推定を再定義する。
スパース端末の報酬を密度の高いプロセス認識値推定に変換する。
標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
論文 参考訳（メタデータ） (2025-12-13T16:31:26Z) - Single-stream Policy Optimization [21.214853668053234]
SPO(Single-stream Policy Optimization)を導入する。
SPOはグループ単位のベースラインを永続的なKL適応値トラッカーに置き換え、バッチ全体にわたってメリットを標準化する。
グループフリーであるため、SPOはより高いスループットと、長い水平またはツール統合された設定で効果的にスケールすることができる。
論文 参考訳（メタデータ） (2025-09-16T16:39:11Z) - DisCO: Reinforcing Large Reasoning Models with Discriminative Constrained Optimization [50.91849555841057]
グループ相対政策最適化は大規模推論モデル(LRM)の強化学習手法である
差別学習の原則を基礎として, LRMの強化のための新たな差別的制約付き最適化フレームワークを導入する。
DisCO は GRPO と DAPO などの改良型を著しく上回り、GRPO の7%、DAPO の6% を平均的に上回っている。
論文 参考訳（メタデータ） (2025-05-18T11:08:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。