論文の概要: Prefilling-dLLM v2: Learned Chunk Routing for Long-Context Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2610.17868v1
- Date: Tue, 13 Oct 2026 07:29:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 08:28:51.007223
- Title: Prefilling-dLLM v2: Learned Chunk Routing for Long-Context Diffusion Language Models
- Title（参考訳）: Prefilling-dLLM v2: 長期拡散言語モデルのための学習チャンクルーティング
- Abstract要約: 推論時にのみスペーシングを行うと、トレーニング済みの重量は変わらないため、モデルが実行されているスパースパターンの下でトレーニングされることはない。
本稿では,拡散言語モデルのトレーニングを継続するPrefilling-dLLM v2を提案する。
YaRN因子が評価長にスケールされたことにより、Prefilling-dLLM v2は16Kから128Kまでの3つのRULERタスクの他のスパースメソッドを導いた。
- 参考スコア（独自算出の注目度）: 23.05101628440308
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion language models apply bidirectional attention over the whole context at every denoising step, so a longer context makes each step substantially more expensive. Sparsifying only at inference leaves the pretrained weights unchanged, so the model is never trained under the sparse pattern it runs with. We propose Prefilling-dLLM v2, which continues training a diffusion language model so that it routes with its native mask token. One mask is appended at the end of each chunk, and a learned role offset marks it as a routing slot. On every fourth layer, a query keeps a bidirectional local window and the top-K chunks scored from that mask; the other layers use a bidirectional sliding window. Starting from Dream-v0-Base-7B extended to 16K with YaRN, we compare Prefilling-dLLM v2 with bidirectional NSA, DSA, and SWA under the same layout, key budget, and dense initialization, using the same Fast-dLLM decoder. With the YaRN factor scaled to the evaluation length, Prefilling-dLLM v2 leads the other sparse methods on all three RULER tasks from 16K to 128K. Its mean accuracy at 128K is 7.4 points above NSA, the next sparse model, while DSA and SWA remain near zero. At the same length, decoding is 172x faster than with full dense attention.
- Abstract（参考訳）: 拡散言語モデルは、各デノベーションステップでコンテキスト全体に対して双方向の注意を払っているため、より長いコンテキストで各ステップが大幅に高価になる。
推論時にのみスペーシングを行うと、トレーニング済みの重量は変わらないため、モデルが実行されているスパースパターンの下でトレーニングされることはない。
本稿では,拡散言語モデルのトレーニングを継続するPrefilling-dLLM v2を提案する。
1つのマスクが各チャンクの最後に付加され、学習されたロールオフセットがルーティングスロットとしてマークされる。
4番目のレイヤでは、クエリは双方向のローカルウィンドウと、そのマスクからスコアされたトップKチャンクを保持し、他のレイヤは双方向のスライドウィンドウを使用する。
Dream-v0-Base-7Bが16Kまで拡張されたYaRNから、Prefilling-dLLM v2とNSA、DSA、SWAを同じレイアウト、鍵予算、高密度初期化で比較し、同じFast-dLLMデコーダを用いて比較した。
YaRN因子が評価長にスケールされたことにより、Prefilling-dLLM v2は16Kから128Kまでの3つのRULERタスクの他のスパースメソッドを導いた。
128Kの平均精度は次のスパースモデルであるNSAの7.4ポイント上であり、DSAとSWAはゼロに近いままである。
同じ長さで、復号化は、十分に注意を払っているよりも172倍高速である。
関連論文リスト
- Where Activation Sparsity and KV-Cache Sparsity Cross in LLM Decoding [25.41362943884425]
2つのブランチとその構成を2つのGPU上で2Kから128Kトークンに記録します。
2つの貯蓄が等しい文脈長であるバイトクロスオーバーと、各分岐に対する理想的なスピードアップ境界を導出する。
スプリットK注意の代わりにマスク付きで高密度ベースラインをタイミングさせることで、同じKVポリシーの約5倍のスピードアップが膨らむ。
論文 参考訳（メタデータ） (2026-09-27T20:11:05Z) - Trajectory-Level Speculative Decoding for Diffusion Language Models [16.97093186372498]
拡散ベースの言語モデル (dLLM) は反復的復号化による並列トークン生成を可能にするが、既存の復号化戦略は信頼性の低い単一トークン生成に崩壊する。
そこで我々は,信頼層木探索による起草軌道構築のためのトラジェクトリレベルの投機フレームワークを開発した。
我々のフレームワークはデノーミングを30～40%削減し、トークン単位のステップを2.6から4.3に増やし、バニラdLLMを7～14倍、Fast-dLLMを1.3倍、推論とコードベンチマークを1%未満で高速化する。
論文 参考訳（メタデータ） (2026-08-27T09:42:20Z) - Prefilling-dLLM: Predictive Prefilling for Long-Context Inference in Diffusion Language Models [39.74599931091662]
Prefilling-dLLMはプレフィックスをNチャンクに分割し、KV表現を一度キャッシュし、最も関連するチャンクをチョーク内のトークン間隔で選択する。
LongBench と InfiniteBench では、Prefilling-dLLM は dLLM 加速度法で最先端の品質を達成する。
本研究では,各チャンクに先行するシーケンストークンが周期的なアテンションアンカーとして機能し,ミドル・イン・ザ・ミドル現象を排除していることを示す。
論文 参考訳（メタデータ） (2026-06-09T08:06:22Z) - SAID: Accelerating Diffusion-Based Language Models via Scaffold-Aware Iterative Decoding [11.233923872369202]
拡散大言語モデル (DLLM) は、双方向コンテキストで劣化したトークンを反復的にデノベートすることで、非自己回帰的な計算生成を可能にする。
本稿では,トークン間の再配置によってDLLMを高速化するScaffold-Aware Iterative DecodingフレームワークであるSAIDを提案する。
数学、コーディング、知識ベンチマークにおけるLLaDA-8BとLLaDA 1.5の実験は、SAIDが競争性能を維持しながら最大9.1倍の速度で推論を著しく加速することを示している。
論文 参考訳（メタデータ） (2026-06-03T14:56:42Z) - SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。
彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。
我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。
提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
論文 参考訳（メタデータ） (2026-06-01T17:46:46Z) - DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。
並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。
当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
論文 参考訳（メタデータ） (2026-04-09T14:35:42Z) - ES-dLLM: Efficient Inference for Diffusion Large Language Models by Early-Skipping [26.560813832545563]
拡散大言語モデル(dLLMs)は、自己回帰モデル(ARMs)に代わる有望な選択肢として浮上している。
我々は、dLLMの生成ダイナミクスを分析し、キー、値、隠された状態を含む中間表現が連続するイテレーション間でのみ微妙に変化することを発見した。
我々は,dLLMのトレーニング不要な推論高速化フレームワークである textbfES-dLLM を提案する。
論文 参考訳（メタデータ） (2026-03-10T14:31:19Z) - Residual Context Diffusion Language Models [90.07635240595926]
Residual Context Diffusion (RCD) は、捨てられたトークン表現をコンテキスト残留に変換し、次のデノイングステップでそれらを注入するモジュールである。
RCDは、最小限の計算オーバーヘッドで、5-10ポイントの精度でフロンティアdLLMを一貫して改善する。
論文 参考訳（メタデータ） (2026-01-30T13:16:32Z) - CDLM: Consistency Diffusion Language Models For Faster Sampling [54.886467592798]
拡散言語モデル(DLM)は有望な並列生成パラダイムを提供するが、推論が遅い。
本稿では,両方のボトルネックに同時に対処するトレーニングベースの加速度法CDLMを紹介する。
実験では、CDLMは3.6x-14.5倍のレイテンシを実現し、数学やコーディングタスクの競合精度を維持している。
論文 参考訳（メタデータ） (2025-11-24T16:21:25Z) - Fast-dLLM v2: Efficient Block-Diffusion LLM [64.38006546510337]
Fast-dLLM v2はブロック拡散言語モデルで、訓練済みのARモデルをdLLMに適応して並列テキストを生成する。
これは、Dream(580Bトークン)のようなフルアテンション拡散LDMと比較して、トレーニングデータの500倍の減少を示す。
論文 参考訳（メタデータ） (2025-09-30T14:40:18Z) - Sequential Diffusion Language Models [110.06562906987052]
拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。
次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。
本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
論文 参考訳（メタデータ） (2025-09-28T17:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。