論文の概要: Prefilling-dLLM: Predictive Prefilling for Long-Context Inference in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2606.10537v1
• Date: Tue, 09 Jun 2026 08:06:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.3823
• Title: Prefilling-dLLM: Predictive Prefilling for Long-Context Inference in Diffusion Language Models
• Title（参考訳）: Prefilling-dLLM:拡散言語モデルにおける長文推論のための予測的準備
• Authors: Jing Xiong, Qi Han, Shansan Gong, Yunta Hsieh, Chengyue Wu, Chaofan Tao, Chenyang Zhao, Ngai Wong,
• Abstract要約: Prefilling-dLLMはプレフィックスをNチャンクに分割し、KV表現を一度キャッシュし、最も関連するチャンクをチョーク内のトークン間隔で選択する。 LongBench と InfiniteBench では、Prefilling-dLLM は dLLM 加速度法で最先端の品質を達成する。 本研究では,各チャンクに先行するシーケンストークンが周期的なアテンションアンカーとして機能し,ミドル・イン・ザ・ミドル現象を排除していることを示す。
• 参考スコア（独自算出の注目度）: 39.74599931091662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion large language models (dLLMs) re-encode the entire prefix at every denoising step, causing recomputation that scales quadratically with context length and becomes prohibitive for long-context scenarios. We propose Prefilling-dLLM, a training-free prefill-decode disaggregation framework for dLLMs that partitions the prefix into N chunks, caches their KV representations once, and selects the top-K most relevant chunks with intra-chunk token sparsity for decoding, showing that sparse prefilling can outperform dense attention while reducing per-step complexity from quadratic in the full sequence length to quadratic only in the decode length. On LongBench and InfiniteBench, Prefilling-dLLM achieves state-of-the-art quality among dLLM acceleration methods, and an attention kernel that parallelizes decoding over the non-contiguously cached chunk KV yields 9.1--28.0x speedup at 8K--32K contexts. We further show that beginning-of-sequence tokens prepended to each chunk act as periodic attention anchors that eliminate the lost-in-the-middle phenomenon. Code is available at https://github.com/menik1126/Prefilling-dLLM.
• Abstract（参考訳）: 拡散大言語モデル (dLLMs) は、各デノナイジングステップでプレフィックス全体を再エンコードし、コンテキスト長と2次スケールで再計算し、長いコンテキストシナリオでは禁止される。 本稿では,プレフィックスをNチャンクに分割し,KV表現を一度キャッシュする,DLLMのためのトレーニングフリープリフィル・デコードデアグリゲーションフレームワークであるPrefilling-dLLMを提案する。 LongBench と InfiniteBench では、Prefilling-dLLM は dLLM アクセラレーション手法の最先端品質を実現し、非連続キャッシュチャンク KV 上のデコードを並列化するアテンションカーネルは 8K--32K コンテキストで 9.1--28.0x のスピードアップが得られる。 さらに,各チャンクに先行するシーケンストークンが周期的なアテンションアンカーとして機能し,ミドル・イン・ザ・ミドル現象を排除していることを示す。 コードはhttps://github.com/menik1126/Prefilling-dLLMで入手できる。

関連論文リスト

• DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
  そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。 DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-03-09T07:02:01Z)
• Residual Context Diffusion Language Models [90.07635240595926]
  Residual Context Diffusion (RCD) は、捨てられたトークン表現をコンテキスト残留に変換し、次のデノイングステップでそれらを注入するモジュールである。 RCDは、最小限の計算オーバーヘッドで、5-10ポイントの精度でフロンティアdLLMを一貫して改善する。
  論文  参考訳（メタデータ） (2026-01-30T13:16:32Z)
• Streaming-dLLM: Accelerating Diffusion LLMs via Suffix Pruning and Dynamic Decoding [36.74241893088594]
  拡散大言語モデル(dLLM)は、自然言語生成に魅力的なパラダイムを提供する。 最近の研究はKVキャッシュの再利用や復号化を通じて推論を加速しているが、ブロックワイド拡散プロセスにおける本質的な非効率性を見落としている。 本稿では,空間次元と時間次元の両方にわたって推論を合理化する学習自由フレームワークStreaming-dLLMを提案する。
  論文  参考訳（メタデータ） (2026-01-25T17:36:04Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。 現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
  本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。 推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。 また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• RefreshKV: Updating Small KV Cache During Long-form Generation [54.00118604124301]
  生成中の入力トークンのサブセットに対して、完全なコンテキストアテンションとアテンションを柔軟に交互に交互に切り替える新しい推論手法RefreshKVを提案する。 本手法をオフザシェルフ LLM に適用することにより,様々な長文生成タスクの性能を向上しつつ,エビクションベースの手法に匹敵する高速化を実現する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。