論文の概要: Exploring More, Reasoning Better: Stepwise Risk-Sensitive GRPO for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.00661v1
• Date: Wed, 30 Sep 2026 19:59:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.747773
• Title: Exploring More, Reasoning Better: Stepwise Risk-Sensitive GRPO for Diffusion Language Models
• Title（参考訳）: 拡散言語モデルのための段階的リスク感性GRPO
• Abstract要約: 検証可能な報酬による強化学習は、意思決定全体で端末からのフィードバックを再利用する。 StepRS-GRPOは、認知状態間のグループアドバンテージ変換のリスク係数を変化させる。 この変換は、まさに、中央集権的な成果のメリットの即時かつ状態依存的な再スケーリングであることを示す。
• 参考スコア（独自算出の注目度）: 31.340226133283238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion large language models (dLLMs) generate text by denoising a sequence or successive blocks, allowing several tokens to be revealed in parallel. Reinforcement learning with verifiable rewards (RLVR) reuses terminal feedback across these decisions, even as their conditioning context changes. We propose stepwise risk-sensitive GRPO (StepRS-GRPO), which varies the risk coefficient of the group-advantage transformation across denoising states while retaining the underlying trainer. For binary rewards, we show that this transformation is exactly a prompt- and state-dependent rescaling of centered outcome advantages. A capability-based calibration suggests a coefficient scale, while endpoint and interpolation ablations guide schedule selection. Across multiple dLLM backbones and mathematical reasoning benchmarks, StepRS-GRPO improves both pass@1 accuracy and pass@k coverage over centered GRPO, while increasing answer diversity. In our ablation studies, mass-matched controls support the contributions of state allocation and schedule direction, and the gains persist after matching the root mean square (RMS) of the advantages to that of centered GRPO. Reasoning-trace diagnostics further show that the diversity gains from StepRS-GRPO extend beyond final-answer strings.
• Abstract（参考訳）: 拡散大言語モデル(dLLMs)は、列または連続したブロックを識別することでテキストを生成し、複数のトークンを並列に公開する。 検証可能な報酬(RLVR)による強化学習は、条件付きコンテキストが変化しても、これらの決定全体で端末からのフィードバックを再利用する。 そこで本研究では,グループアドバンテージ変換のリスク係数を変化させる段階的リスク感受性GRPO(StepRS-GRPO)を提案する。 2項の報奨に対して、この変換はまさに、中心となる結果のメリットの、プロンプトおよび状態依存の再スケーリングであることを示す。 機能ベースのキャリブレーションは係数スケールを示し、エンドポイントと補間はスケジュールの選択をガイドする。 複数のdLLMバックボーンと数学的推論ベンチマークを通じて、StepRS-GRPOは、回答の多様性を高めながら、pass@1精度とpass@kカバレッジの両方を改善している。 減算実験では,質量整合制御は状態割当とスケジュール方向の寄与を支持し,根平均平方根(RMS)と中心となるGRPOの利点を一致させた後,利得は持続する。 Reasoning-Trace診断は、StepRS-GRPOから得られる多様性が最終回答文字列を超えて広がることを示している。

関連論文リスト

• Granularity-Adaptive Credit Assignment for Long-Horizon LLM Agent Reinforcement Learning [7.885980895039013]
  我々は、正しい解決法は国家に依存していると論じ、不確実性に基づく臨界性プロキシに従って粒度が続く批判のない推定器であるGACAを提案する。 GACAは、自己のロールアウトがすでに記録している負のログライクな記録によって各ステップをスコアし、そのスコアで成長するステップ毎の重みと2つのアドバンテージをブレンドする。 ALFWorldとWebShopでは、GACAはGRPOとGiGPOよりも1.5Bと7Bのスケールでタスクの成功を改善する。
  論文  参考訳（メタデータ） (2026-09-11T04:19:44Z)
• Perturb the Thought, Not the Pixels: Latent-Space Rollout Diversification for Reinforcement Learning of Vision-Language Models [0.0]
  ノイズコントラストGRPOは、スケール校正されたガウスノイズをプロンプトエンコードパスの最後の隠れ層に注入する。 Geometry3Kで訓練されたQwen2.5-VL-7Bでは、NC-GRPOは領域外の数学的推論を大幅に改善した。
  論文  参考訳（メタデータ） (2026-08-21T19:56:50Z)
• ExTra: Exploratory Trajectory Optimization for Language Model Reinforcement Learning [75.26064451955199]
  ExTraは、モデル自身のロールアウトから探索信号を抽出するフレームワークである。 GRPO上でQwen3-1.7Bをpass@1で約5ポイント、pass@16で+7ポイント改善する。
  論文  参考訳（メタデータ） (2026-06-23T15:51:39Z)
• N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization [55.14402862283128]
  我々は,グループ相対政策最適化フレームワークに統合された新しい探索戦略であるN-GRPOを紹介する。 トークンレベルのサンプリングやネイティブな埋め込みレベルのノイズに頼るのではなく、Semantic Neighbor Mixingを活用する。 N-GRPOは、数学推論ベンチマークの強いベースラインよりも一貫した改善を達成し、また分布外タスクの堅牢な一般化能力を示す。
  論文  参考訳（メタデータ） (2026-06-09T12:21:27Z)
• Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation [13.272542054938258]
  非効率な勾配でトレーニングバッチの割合を定量化する最初の指標であるAdvantage Collapse Rate (ACR)を導入する。 次に、仮想報酬サンプルを注入するGRPOの軽量拡張であるAdaptive Virtual Sample Policy Optimization (AVSPO)を提案する。 AVSPOはGRPOに対して58～63%の利害崩壊を減少させ、すべてのモデルスケールで4～6ポイントの一貫した精度向上をもたらす。
  論文  参考訳（メタデータ） (2026-05-20T12:57:37Z)
• Hidden States Know Where Reasoning Diverges: Credit Assignment via Span-Level Wasserstein Distance [8.66471442661456]
  隠れ状態分布は局所的推論品質に有用な信号を含むことを示す。 各GRPO群では, 局所的推論品質が変動する領域を中心に, スパンレベル隠れ状態分布間のワッサースタイン距離が増加する。 textbfSpan-level textbfHidden state textbfEd textbfAdvantage textbfReweightingを提案する。
  論文  参考訳（メタデータ） (2026-04-25T14:11:23Z)
• Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。 標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。 トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
  論文  参考訳（メタデータ） (2026-04-14T09:48:46Z)
• Stabilizing Reinforcement Learning for Diffusion Language Models [27.22260417844743]
  グループ相対政策最適化(GRPO)は、自己回帰(AR)言語モデルの訓練後において非常に効果的である。 しかし、拡散大言語モデル(dLLM)への直接的な適用は、しばしば報酬の崩壊を引き起こす。 これらの効果は、政策ドリフトを駆動する自己強化不安定ループを形成し、さらに比の分散を増加させることを示す。 我々はDLLMに適したGRPOの再構成であるStableDRLを提案する。
  論文  参考訳（メタデータ） (2026-03-06T08:55:37Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。