論文の概要: Retrofitting Linear Attention into Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2608.06628v1
• Date: Thu, 06 Aug 2026 22:34:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.300226
• Title: Retrofitting Linear Attention into Diffusion Language Models
• Title（参考訳）: 拡散言語モデルへの線形注意の再構成
• Abstract要約: 拡散言語モデル(dLLMs)は、並列デコーディングによる推論を加速することにより、自己回帰モデルに代わる有望な代替手段を提供する。 最近のdLLMではブロックワイズ半自己回帰デコーディングが一般的であり、各アクティブブロック内でトークンを並列にデノナイズしながら自動回帰的にブロックを生成する。 ブロックハイブリッドアテンションを導入し,従来のブロックに対して線形アテンションを適用しつつ,アクティブデノナイジングブロック内のソフトマックスアテンションを正確に保持する。
• 参考スコア（独自算出の注目度）: 8.41282954657158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (dLLMs) offer a promising alternative to autoregressive models by accelerating inference through parallel decoding. Recent dLLMs commonly use blockwise semi-autoregressive decoding, generating blocks autoregressively while denoising tokens within each active block in parallel. However, despite KV caching, each denoising step still attends to all previous blocks, repeatedly incurring prefix-attention cost. Motivated by this bottleneck, we ask whether dLLM inference can be further accelerated by linearizing attention over previous blocks. We introduce block-hybrid attention, which retains exact softmax attention within the active denoising block while applying linear attention over previous blocks. We show that this hybrid attention can be retrofitted into a pretrained dLLM with minimal post-training: LLaDA-Hybrid replaces 6 of the 20 attention layers in LLaDA~2.1, a 16B open-source dLLM, largely following LoLCAT (Zhang et al, 2024). The conversion takes only approximately 60 hours while preserving benchmark performance: 72.0% vs. 75.6% on HumanEval, 63.0% vs. 57.7% on MBPP+, and 86.7% vs. 88.3% on CMATH. With a Triton implementation, LLaDA-Hybrid achieves up to $1.7\times$ higher decoding throughput and supports more concurrent requests before exhausting memory, showing that pretrained dLLMs can be efficiently linearized for faster inference. Our code is available at: https://github.com/Diuven/LLaDA-Hybrid.
• Abstract（参考訳）: 拡散言語モデル(dLLMs)は、並列デコーディングによる推論を加速することにより、自己回帰モデルに代わる有望な代替手段を提供する。 最近のdLLMではブロックワイズ半自己回帰デコーディングが一般的であり、各アクティブブロック内でトークンを並列にデノナイズしながら自動回帰的にブロックを生成する。 しかしながら、KVキャッシュにもかかわらず、各デノイングステップは以前のすべてのブロックに引き続き参加し、プレフィックスアテンションコストを繰り返し発生させる。 このボトルネックに乗じて、従来のブロックに対する注意を線形化することで、dLLM推論をさらに加速できるかどうかを問う。 ブロックハイブリッドアテンションを導入し,従来のブロックに対して線形アテンションを適用しつつ,アクティブデノナイジングブロック内のソフトマックスアテンションを正確に保持する。 LLaDA-HybridはLLaDA~2.1の注目層のうち6層を置き換え、LLaDA-Hybridは16BのオープンソースdLLMで、主にLoLCAT(Zhang et al, 2024)に従っている。 72.0%対HumanEvalで75.6%、MBPP+で63.0%対57.7%、CMATHで86.7%対88.3%である。 トリトンの実装により、LLaDA-Hybridは最大1.7\times$高デコードスループットを実現し、メモリを消費する前により多くの同時リクエストをサポートし、事前訓練されたdLLMをより高速な推論のために効率的に線形化できることを示した。 私たちのコードは、https://github.com/Diuven/LLaDA-Hybrid.comで利用可能です。

関連論文リスト

• Serving Masked Diffusion LLMs: Characterization and Design Principles from Real Hardware [1.7286026533711227]
  マスク付き拡散言語モデル(dLLM)は、多くのトークンを一度に識別するため、自動回帰(AR)モデルよりも高速にテキストを生成することができる。 最近のシステムでは、dLLMのサービスインフラストラクチャの構築が始まっているが、これらのモデルが実際の並行サービスの下でどのように振る舞うかを最初に測定することはない。 LLaDA-8B-Instruct with a D2F (Discrete Diffusion Forcing) LoRA adapter on a single NVIDIA H200 GPU。
  論文  参考訳（メタデータ） (2026-08-24T20:16:48Z)
• CAI-DLLM: Convergence Aware Inference for Diffusion Language Models [1.8883742168400344]
  拡散言語モデルは、多くのトークンを並列に生成できるが、推論中に繰り返しデノイングステップが必要になる。 CAI-DLLMは,第1ステップの信頼度を用いて推論時間を導出し,推論時間を短縮する訓練自由推論手法である。 LLaDA-8B-インストラクタとドリーム-7B-インストラクタを用いたCAI-DLLMの評価を行った。
  論文  参考訳（メタデータ） (2026-08-23T23:03:59Z)
• Training Hybrid Block Diffusion Language Models with Partial Bidirectionality [11.618306403714692]
  長文生成は、大規模言語モデルにおいて重要な課題の1つである。 本稿では,逆マンバスキャンをアクティブデノナイジングブロックに制限することにより,この問題に対処するBDLMマンバ-アテンションハイブリッドを提案する。 長文推論では、BDLM Mamba-H はフルシーケンスの DiffuMamba-H の 65K トークンのスループットの 19.7 倍、BDLM の 262K のスループットの 3.7 倍に達する。
  論文  参考訳（メタデータ） (2026-07-02T22:37:43Z)
• Multi-Block Diffusion Language Models [46.581695254036]
  ブロック拡散言語モデル(BD-LM)は、KVキャッシングとフレキシブルな長文生成により拡散ベースのテキスト生成を改善する。 マルチブロック教師強制(MultiTF)を用いたBD-LMの訓練後得られたマルチブロック拡散言語モデル(MBD-LM)を提案する。 MBD-LLaDA2-Miniは平均Tokens Per Forward Pass (TPF)を3.47から6.19に増加させ、平均精度を79.95%から81.03%に向上させる。 DMaxと組み合わせると、MBD-LLaDA2-Mini-DMaxの平均TPFは9.34である。
  論文  参考訳（メタデータ） (2026-06-28T05:53:45Z)
• HERALD: High-Throughput Block Diffusion LLM Serving via CPU-GPU Cooperative KV Cache Retrieval [31.594043836825403]
  拡散LDM(dLLM)は、フォワードパス毎に複数のトークンを生成することにより、自動回帰復号化によるGPU利用を改善する。 KVキャッシュは、コンテキストとともに線形に成長し、長いコンテキストでのスループットを制限する。 ブロックdLLMのためのKVオフロードシステムであるHERALDを提案する。
  論文  参考訳（メタデータ） (2026-06-19T17:36:51Z)
• Roll Out and Roll Back: Diffusion LLMs are Their Own Efficiency Teachers [76.15132587294862]
  Wide-In, Narrow-Out (WINO) は、リボッキング可能な並列生成を可能にするトレーニング不要の復号アルゴリズムである。 WINO+は、WINOが生成した検証された認知軌道をモデルパラメータに注入し、トレーニングを効率的な推論と整合させる。 LLaDAとMMaDAの実験では、WINOは品質と効率の両方を改善し、WINO+はこの進歩をさらに強化している。
  論文  参考訳（メタデータ） (2026-05-16T11:27:40Z)
• Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
  ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。 本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。 実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
  論文  参考訳（メタデータ） (2026-05-16T07:50:13Z)
• DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
  効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。 並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。 当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
  論文  参考訳（メタデータ） (2026-04-09T14:35:42Z)
• ES-dLLM: Efficient Inference for Diffusion Large Language Models by Early-Skipping [26.560813832545563]
  拡散大言語モデル(dLLMs)は、自己回帰モデル(ARMs)に代わる有望な選択肢として浮上している。 我々は、dLLMの生成ダイナミクスを分析し、キー、値、隠された状態を含む中間表現が連続するイテレーション間でのみ微妙に変化することを発見した。 我々は,dLLMのトレーニング不要な推論高速化フレームワークである textbfES-dLLM を提案する。
  論文  参考訳（メタデータ） (2026-03-10T14:31:19Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Fast-dLLM v2: Efficient Block-Diffusion LLM [64.38006546510337]
  Fast-dLLM v2はブロック拡散言語モデルで、訓練済みのARモデルをdLLMに適応して並列テキストを生成する。 これは、Dream(580Bトークン)のようなフルアテンション拡散LDMと比較して、トレーニングデータの500倍の減少を示す。
  論文  参考訳（メタデータ） (2025-09-30T14:40:18Z)
• Towards Effective and Efficient Non-autoregressive Decoding Using Block-based Attention Mask [74.64216073678617]
  AMDはアテンションマスクを用いて隠された出力ラベルの連続ブロック内で並列NAR推論を行う。 ビームサーチアルゴリズムは、CTC、ARデコーダ、AMD確率の動的融合を利用するように設計されている。 LibriSpeech-100hrコーパスの実験では、AMDモジュールを組み込んだトリパルタイトデコーダが最大1.73倍のデコード速度比を生み出すことを示唆している。
  論文  参考訳（メタデータ） (2024-06-14T13:42:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。