論文の概要: FastGuide: Accelerating Reward Guidance for Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2609.36202v1
• Date: Mon, 28 Sep 2026 20:01:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.992274
• Title: FastGuide: Accelerating Reward Guidance for Diffusion Large Language Models
• Title（参考訳）: FastGuide: 拡散型大規模言語モデルのためのリワードガイダンスの高速化
• Abstract要約: 我々は並列および自己回帰復号の適応型ハイブリッドであるFastGuideを紹介する。 FastGuideは、デコードステップ毎に1回のコンピューティングガイダンスによって、報酬モデルのバックプロパゲーションのコストを償却する。 3つの報酬ベンチマークの実験では、FastGuideはシーケンシャルな報酬誘導復号よりも4.4倍速いことが示されている。
• 参考スコア（独自算出の注目度）: 36.46459682846343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient-based reward guidance provides a flexible way to use downstream reward models to control masked diffusion language models at inference time. However, its computational cost remains high as each decoding iteration incurs expensive diffusion model forward passes and reward model backpropagation steps. To address this, we introduce FastGuide, an adaptive hybrid of parallel and autoregressive decoding to accelerate reward guidance for diffusion language models. In analogy to parallel decoding, FastGuide amortizes the cost of reward model backpropagation by computing guidance once per decoding step and reusing it to generate multiple tokens. Within each decoding step, FastGuide makes diffusion forward passes autoregressive by unmasking tokens one at a time while efficiently recomputing token distributions after each unmasking by utilizing KV caching techniques and sparse recomputation of attention. Lastly, to adapt hybrid decoding to the model's confidence, FastGuide defers any token that the model is unconfident about under its recomputed distribution. Experiments on three reward benchmarks demonstrate that FastGuide is up to $4.4\times$ faster than sequential reward-guided decoding while retaining similar generation quality.
• Abstract（参考訳）: 勾配に基づく報酬誘導は、下流の報酬モデルを使用して、推論時にマスク付き拡散言語モデルを制御する柔軟な方法を提供する。 しかし、復号化の繰り返しは、高価な拡散モデルフォワードと報酬モデルバックプロパゲーションステップを生じるため、計算コストは高いままである。 これを解決するために,並列および自己回帰復号の適応ハイブリッドであるFastGuideを導入し,拡散言語モデルの報酬誘導を高速化する。 並列デコーディングと類似して、FastGuideは、デコーディングステップ毎に1回に1回、それを再利用して複数のトークンを生成することで、報酬モデルバックプロパゲーションのコストを償却する。 各復号ステップ内では、FastGuideは、KVキャッシュ技術を利用してトークンを1回ずつ解凍し、かつ、各解凍後のトークン分布を効率よく再計算し、注意のスパース再計算を行うことにより、拡散転送を自己回帰的に行う。 最後に、ハイブリッドデコーディングをモデルの信頼性に適応させるために、FastGuideは、再計算された分布下でモデルが信頼できないトークンを無視する。 3つの報酬ベンチマークの実験では、FastGuideは、同様の生成品質を維持しながらシーケンシャルな報酬誘導復号よりも4.4\times$速いことが示されている。

関連論文リスト

• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• AMUSD: Asynchronous Multi-Device Speculative Decoding for LLM Acceleration [0.3626013617212667]
  本稿では,AMUSD (Asynchronous Multi-device Speculative Decoding) を導入し,ドラフトを分離し,フェーズを検証することによって生成を高速化するシステムを提案する。 AMUSDは、1つのモデル(ドラフトまたは検証)のみが一度にトークン生成を行う従来の投機復号法とは異なり、どちらのモデルも別々のデバイス上で独立して予測を行うことができる。 我々は、複数のデータセットに対するアプローチを評価し、AMUSDが投機的復号化よりも平均29%改善し、従来の自己回帰復号化よりも1.96$times$スピードアップを達成したことを示す。
  論文  参考訳（メタデータ） (2024-10-22T19:15:35Z)
• Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion [55.0194604505437]
  投機的復号化は,大規模言語モデル推論を高速化する手法として広く採用されている。 本稿では,離散拡散モデルを用いてドラフトシーケンスを生成する投機的復号法を提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:24:25Z)
• Optimized Multi-Token Joint Decoding with Auxiliary Model for LLM Inference [41.93955876156331]
  大規模言語モデル(LLM)は様々なタスクで顕著な成功を収めた。 推論プロセスは、デコードの各ステップにおける単一トーケン生成により、相当な時間とエネルギー要求によって妨げられる。 MTJD を高速化する新しいフレームワークである Multi-token Assisted Decoding (MTAD) を導入する。
  論文  参考訳（メタデータ） (2024-07-12T23:29:54Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Fast Inference from Transformers via Speculative Decoding [3.950600027250452]
  Transformersのような大規模な自己回帰モデルからの推論は遅く、Kトークンの復号化はモデルのKシリアル実行を伴います。 本研究では,複数のトークンを並列に計算することで,自動回帰モデルから高速にサンプリングするアルゴリズムである投機的復号化を導入する。
  論文  参考訳（メタデータ） (2022-11-30T17:33:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。