論文の概要: ForkGRPO: Efficient Exploration and Fine-Grained Credit Assignment for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.19408v1
• Date: Wed, 14 Oct 2026 01:56:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.892419
• Title: ForkGRPO: Efficient Exploration and Fine-Grained Credit Assignment for Diffusion Language Models
• Title（参考訳）: ForkGRPO: 拡散言語モデルのための効率的な探索と細粒度クレジットアサインメント
• Abstract要約: 任意の順序生成はエントロピー劣化に悩まされ、探索に使える推論経路が狭まる。 細粒度セグメントレベルの信用割当を効率的に探索するRLフレームワークであるForkGRPOを提案する。
• 参考スコア（独自算出の注目度）: 15.688474582850146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion large language models (dLLMs) have advanced rapidly, yet strengthening their reasoning through reinforcement learning (RL) remains an open challenge. Any-order generation can suffer from entropy degradation, which narrows the reasoning paths available for exploration. Recent work mitigates this issue by applying standard GRPO with left-to-right generation. However, independently generating every rollout from the input prompt can leave alternative continuations from intermediate states underexplored, while trajectory-level advantages assign uniform credit to all tokens without distinguishing the contributions of individual reasoning segments. We propose ForkGRPO, an RL framework that couples efficient exploration with fine-grained segment-level credit assignment. It samples multiple continuations from high-entropy intermediate states along a reference trajectory, prioritizing textual boundaries and reusing shared prefixes. The continuations provide complementary learning signals: within-state group-relative advantages guide which continuations to reinforce, while Monte Carlo state-value differences indicate which reasoning segments improve expected outcomes. Among the evaluated architecture-preserving RL methods, ForkGRPO achieves the best performance on three of four benchmarks, while improving over the directly comparable JustGRPO by up to 1.2 percentage points and using up to 27.8% fewer generated tokens. ForkGRPO-Fast further achieves a $2.49\times$ training wall-clock speedup with negligible accuracy loss.
• Abstract（参考訳）: 拡散型大規模言語モデル (dLLM) は急速に進歩しているが、強化学習 (RL) による推論を強化することは未解決の課題である。 任意の順序生成はエントロピー劣化に悩まされ、探索に使える推論経路が狭まる。 最近の研究は、標準GRPOを左から右に生成することでこの問題を軽減する。 しかし、入力プロンプトから全てのロールアウトを独立に生成すると、探索されていない中間状態からの代替の継続が残され、トラジェクトリレベルの利点は個々の推論セグメントの寄与を区別することなく、全てのトークンに均一なクレジットを割り当てる。 細粒度セグメントレベルの信用割当を効率的に探索するRLフレームワークであるForkGRPOを提案する。 基準軌道に沿った高エントロピー中間状態からの複数の連続をサンプリングし、テキスト境界を優先順位付けし、共有プレフィックスを再利用する。 継続は相補的な学習信号を提供する: 状態内グループ相対的優位性ガイドは継続を補強するために継続するが、モンテカルロの状態値差は、どの推論セグメントが期待される結果を改善するかを示す。 評価されたアーキテクチャ保存RL手法の中で、ForkGRPOは4つのベンチマークのうち3つで最高のパフォーマンスを達成し、直接比較したJustGRPOを最大1.2ポイント改善し、生成トークンを最大27.8%削減した。 ForkGRPO-Fastはさらに、2.49\times$のウォールクロックのスピードアップと無視できる精度の損失を達成している。

関連論文リスト

• ExTra: Exploratory Trajectory Optimization for Language Model Reinforcement Learning [75.26064451955199]
  ExTraは、モデル自身のロールアウトから探索信号を抽出するフレームワークである。 GRPO上でQwen3-1.7Bをpass@1で約5ポイント、pass@16で+7ポイント改善する。
  論文  参考訳（メタデータ） (2026-06-23T15:51:39Z)
• Hidden States Know Where Reasoning Diverges: Credit Assignment via Span-Level Wasserstein Distance [8.66471442661456]
  隠れ状態分布は局所的推論品質に有用な信号を含むことを示す。 各GRPO群では, 局所的推論品質が変動する領域を中心に, スパンレベル隠れ状態分布間のワッサースタイン距離が増加する。 textbfSpan-level textbfHidden state textbfEd textbfAdvantage textbfReweightingを提案する。
  論文  参考訳（メタデータ） (2026-04-25T14:11:23Z)
• Lookahead Tree-Based Rollouts for Enhanced Trajectory-Level Exploration in Reinforcement Learning with Verifiable Rewards [48.321707628011005]
  Lookahead Tree-Based Rollouts (LATR) は、軌道レベルの多様性を明確に促進するために設計された新しいロールアウト戦略である。 LATRはポリシー学習を平均で131%加速し、最終パス@1パフォーマンスを4.2%向上させる。
  論文  参考訳（メタデータ） (2025-10-28T11:12:02Z)
• BranchGRPO: Stable and Efficient GRPO with Structured Branching in Diffusion Models [57.304411396229035]
  BranchGRPOは、ロールアウトプロセスを分岐木に再構成する手法である。 HPDv2.1イメージアライメントでは、BranchGRPOはDanceGRPOよりも最大でtextbf16%のアライメントスコアを改善する。 ハイブリッド版であるBranchGRPO-MixはDanceGRPOよりも4.7倍の速度でトレーニングを加速する。
  論文  参考訳（メタデータ） (2025-09-07T12:53:06Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。