論文の概要: Fork-dLLM: Avoiding the Flexibility Trap in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2609.39859v1
• Date: Wed, 30 Sep 2026 14:43:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.924386
• Title: Fork-dLLM: Avoiding the Flexibility Trap in Diffusion Language Models
• Title（参考訳）: Fork-dLLM:拡散言語モデルにおける柔軟性のトラップを回避する
• Abstract要約: マスク付き拡散言語モデル (dLLMs) は, 並列トークン生成による高速な推論の可能性を示している。 近年の研究では、複数の可塑性連続体が存在する高エントロピーフォーク位置を推測する手法が提案されている。 ここでは, 信頼度に基づくサンプリングは不要であり, 推論コストを考慮すると無駄であることを示す。
• 参考スコア（独自算出の注目度）: 3.55117037210421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion language models (dLLMs) have shown strong potential for faster inference through parallel token generation when combined with confidence-based samplers. However, recent work has shown that such methods can defer unmasking high-entropy fork positions at which multiple plausible continuations exist. This results in reduced generation diversity, as shown by worse pass@k scaling, and limits gains obtainable from RL post-training. To avoid this flexibility trap, prior work advocated for autoregressive (AR) sampling. Here, we show that discarding confidence-based sampling is unnecessary and, once inference cost is taken into account, wasteful. We first propose Fork-dLLM, a simple hybrid sampler that uses AR-style ordering only at uncertain fallback steps while retaining parallel generation otherwise. We then extend the same principle to post-training with ForkGRPO, which uses Fork-dLLM rollouts and applies the GRPO objective only at fallback steps, preserving exact policy-likelihood ratios while substantially reducing rollout and optimization cost. In our experiments, Fork-dLLM matches the strong pass@k scaling of AR sampling while being 2-3x more efficient, and ForkGRPO achieves downstream performance comparable to or better than AR-based GRPO baselines at a substantially lower training cost.
• Abstract（参考訳）: マスク付き拡散言語モデル (dLLMs) は, 信頼度に基づくサンプリングと組み合わせることで, 並列トークン生成による高速推論の可能性を示した。 しかし、近年の研究により、このような手法は複数の可算連続が存在する高エントロピーフォーク位置を推測することができないことが示されている。 これにより、より悪いpass@kスケーリングによって示されるように、生成の多様性が減少し、RLポストトレーニングから得られるリミットゲインが得られます。 この柔軟性の罠を避けるために、事前の作業は自己回帰(AR)サンプリングを推奨した。 ここでは, 信頼度に基づくサンプリングは不要であり, 推論コストを考慮すると無駄であることを示す。 Fork-dLLMは、並列生成を保ちつつ、不確実なフォールバックステップのみをARスタイルで順序付けする単純なハイブリッドサンプリングである。 次に、Fork-dLLMロールアウトを用いたForkGRPOによるポストトレーニングの原則を拡張し、フォールバックステップのみにGRPOの目的を適用し、正確なポリシーライクな比率を保ちながら、ロールアウトと最適化コストを大幅に削減する。 我々の実験では、Fork-dLLMはARサンプリングの強力なパス@kスケーリングと2～3倍の効率で一致し、ForkGRPOは、トレーニングコストの大幅な削減で、ARベースのGRPOベースラインと同等以上のダウンストリームパフォーマンスを達成する。

関連論文リスト

• Explore Broadly, Reason Sharply: Push Small Models toward the Frontier via Sampling [26.291892793347426]
  textbfParallel Power Tempering (PPT)を導入する。 異なるシャープ化レベルで複数の共振レプリカを並列に実行することで、低消費電力レプリカは多様な推論軌道を探索することができる。 実験により, 単鎖型パワースハーペンドサンプリングを著しく改善し, RL-ポストトレーニングモデルより優れた性能を示した。
  論文  参考訳（メタデータ） (2026-09-29T17:45:43Z)
• V-GRPO: Online Reinforcement Learning for Denoising Generative Models Is Easier than You Think [90.69263509098948]
  本稿では,ELBOをベースとしたサロゲートとグループ相対ポリシー最適化アルゴリズムを統合した変分GRPOを提案する。 V-GRPOはテキストと画像の合成において最先端のパフォーマンスを実現し、MixGRPOよりも2倍のスピードアップ、DiffusionNFTより3倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-04-25T17:03:21Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
  強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。 しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。 本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-03T13:05:32Z)
• Improving Reasoning for Diffusion Language Models via Group Diffusion Policy Optimization [25.504794432255306]
  拡散言語モデル(DLMs)は、反復的洗練を伴う並列で順序に依存しない生成を可能にする。 強化学習の微調整をDLMに適用することは、難易度が高いため、未解決の課題である。 DLMに適した新しいRLアルゴリズムである textbfGroup Diffusion Policy Optimization (GDPO) を導入する。
  論文  参考訳（メタデータ） (2025-10-09T17:58:07Z)
• Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training [47.26632817047513]
  大規模言語モデル(LLM)に推論タスクに適用された強化学習は、不安定な勾配推定によってボトルネックとなることが多い。 LLMのオンラインRLポストトレーニングのための適応型サンプリングフレームワークであるReinforce-Adaを提案する。 従来の2段階配置法とは異なり、Reinforce-Adaはオンライン連続除去プロセスにおける推定とサンプリングをインターリーブする。
  論文  参考訳（メタデータ） (2025-10-06T16:34:09Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。