論文の概要: DC-Leap: Training-Free Acceleration of dLLMs via Draft-Guided Contiguous Leaping Decoding
- arxiv url: http://arxiv.org/abs/2607.20467v1
- Date: Tue, 19 May 2026 06:27:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.184243
- Title: DC-Leap: Training-Free Acceleration of dLLMs via Draft-Guided Contiguous Leaping Decoding
- Title（参考訳）: DC-Leap: Draft-Guided Contiguous Leaping DecodingによるdLLMのトレーニング不要高速化
- Abstract要約: DC-Leapは、中程度信頼体制におけるdLLMの信頼性の高いアクセラレーションを可能にする、トレーニング不要のフレームワークである。
厳密に順序付けられた因果制約を並列復号プロセスに組み込む。
KVキャッシュと組み合わせると、MBPPでは最大53.19倍、最大105.02倍のスピードアップを実現している。
- 参考スコア（独自算出の注目度）: 52.13809682603516
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: While parallel decoding is central to the efficiency of Diffusion Large Language Models (dLLMs), current strategies are often hindered by overly conservative confidence thresholds. These thresholds, necessitated by the Joint Probability Dependence Error (JPDE), result in redundant denoising iterations and suboptimal inference speeds. To overcome this, we propose DC-Leap, a training-free framework that enables reliable acceleration of dLLMs in the moderate-confidence regime. DC-Leap introduces a Dynamic Contiguous Verification strategy that integrates strictly-ordered causal constraints into the parallel decoding process. By progressively validating token dependencies, this mechanism effectively neutralizes the JPDE, enabling reliable acceleration with comparable performance. Furthermore, DC-Leap incorporates the draft-guided decoding mechanism, where the draft helps extend the context by leaping forward across multiple tokens, providing look-ahead context and retaining the structural benefits of bidirectional attention during inference. Extensive experiments on standard benchmarks demonstrate that DC-Leap achieves substantial speedups, up to 53.19x on MBPP for long-sequence generation, and up to 105.02x when combined with KV-Cache with comparable generation quality. Code is available at https://github.com/ffh-wyls/DC-Leap .
- Abstract（参考訳）: 並列デコーディングは拡散大言語モデル(dLLM)の効率の中心であるが、現在の戦略は過度に保守的な信頼しきい値によって妨げられていることが多い。
これらのしきい値は、Joint Probability Dependence Error (JPDE) が必要とするもので、冗長な重複と準最適推論速度をもたらす。
これを解決するために,中等度信頼体制におけるdLLMの信頼性向上を可能にするトレーニングフリーフレームワークであるDC-Leapを提案する。
DC-Leapは、厳密な順序付けられた因果制約を並列復号プロセスに統合するDynamic Contiguous Verification戦略を導入した。
トークンの依存関係を段階的に検証することにより、このメカニズムはJPDEを効果的に中和し、同等のパフォーマンスで信頼性の高いアクセラレーションを可能にする。
さらに、DC-Leapにはドラフトガイドによるデコード機構が組み込まれており、ドラフトは複数のトークンをまたいで前進し、ルックアヘッドコンテキストを提供し、推論中の双方向の注意の構造的メリットを維持することにより、コンテキストの拡張を支援する。
標準ベンチマークでの大規模な実験では、DC-Leapは相当なスピードアップを達成し、MBPPでは最大53.19倍、KV-Cacheと同等の世代品質で組み合わせると最大105.02倍となる。
コードはhttps://github.com/ffh-wyls/DC-Leap で入手できる。
関連論文リスト
- Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding [51.48425605758328]
我々は,Faster Flash Decoding (FFD) という,長文デコーディングにおいてメモリ壁を壊すように設計されたハードウェア・アルゴリズムの共同設計フレームワークを提示する。
FFDはセレクタとコンピュータを完全に融合したカーネルに統合し、外部メタデータのインデックスをコンテンツ認識スキャンに置き換える。
最大11.6倍のカーネルレベルのスピードアップと256Kコンテキスト長のスケーリングを実現し、2.37倍のスループット向上を実現している。
論文 参考訳（メタデータ） (2026-08-31T15:13:20Z) - DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation [69.8840101036735]
投機的復号化はLarge Language Model (LLM)推論を加速させる。
最近の並列起草者は、1つの前方通過で長いトークン列を効率的に提案するが、トークン間の依存関係が欠如しているため、急速に受け入れが低下する。
我々はDSparkという投機的復号化フレームワークを導入し、高いスループットの並列生成を適応的かつロードアウェアな検証と統合する。
論文 参考訳（メタデータ） (2026-07-06T14:28:06Z) - Efficient Diffusion LLMs via Temporal-Spatial Parallel Decoding and Confidence Extrapolation [15.129362213838974]
2つのコンポーネントを持つトレース対応復号化フレームワークを提案する。
まず、時間空間並列復号(TSPD)は、トークンが収束し、安全に固定できるかどうかを決定するために、信頼、エントロピー、運動量を含む、トーケン軌道毎の特徴を消費する軽量な時間空間コントローラを使用する。
第二に、CE(Confidence Extrapolation)は、トレーニング不要な状態空間モジュールで、前向きな決定を支援するために、不確実性を伴う将来のロジットトレンドを予測する。
論文 参考訳（メタデータ） (2026-05-29T02:29:28Z) - DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification [29.426184837710952]
投機的復号化は,複数のトークンを並列に起草することで,大規模言語モデルの推論を高速化する有効な手法である。
生成品質を保ちながら時間効率を向上させる緩やかな検証フレームワークである動的検証緩和投機復号法(DIVERSED)を提案する。
本研究では,DIVERSEDが標準的な投機的復号法に比べてかなり高い推論効率を実現することを示す。
論文 参考訳（メタデータ） (2026-04-08T21:52:32Z) - CD4LM: Consistency Distillation and aDaptive Decoding for Diffusion Language Models [27.070045950001532]
CD4LMは、推論からトレーニングを分離するフレームワークである。
GSM8Kでは、CD4LMはLLaDAベースラインと5.18倍のウォールクロック速度でマッチする。
論文 参考訳（メタデータ） (2026-01-05T16:09:22Z) - Deferred Commitment Decoding for Diffusion Language Models with Confidence-Aware Sliding Windows [33.361153168706444]
トレーニング不要なデコード戦略として,Dederred Commitment Decoding (DCD)を提案する。
DCDは、マスクされたトークンの上に信頼性を意識したスライディングウィンドウを保持しており、十分な文脈証拠が得られるまで、高い不確実性トークンを延期しながら、早期に低不確実性トークンを解決している。
実験の結果、DCDは固定ブロックベースの拡散法に比べて平均時間で1.39%向上し、最も顕著な改善は9.0%に達した。
論文 参考訳（メタデータ） (2026-01-05T12:57:33Z) - Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。
TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
論文 参考訳（メタデータ） (2025-12-10T01:54:57Z) - Accelerating Diffusion LLM Inference via Local Determinism Propagation [27.751279909685604]
LocalLeapは、トレーニング不要の適応並列デコード戦略である。
6.94$times$スループットの改善を実現し、デコード手順を元の要件の14.2%に短縮する。
論文 参考訳（メタデータ） (2025-10-08T14:39:34Z) - Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。
本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。
本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
論文 参考訳（メタデータ） (2025-05-28T17:39:15Z) - Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion [55.0194604505437]
投機的復号化は,大規模言語モデル推論を高速化する手法として広く採用されている。
本稿では,離散拡散モデルを用いてドラフトシーケンスを生成する投機的復号法を提案する。
論文 参考訳（メタデータ） (2024-08-10T21:24:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。