論文の概要: DynaTE: Accelerating Diffusion LLMs via Dynamic Token Execution

• arxiv url: http://arxiv.org/abs/2610.11284v1
• Date: Thu, 08 Oct 2026 05:49:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.817931
• Title: DynaTE: Accelerating Diffusion LLMs via Dynamic Token Execution
• Title（参考訳）: DynaTE:動的トークン実行による拡散LDMの高速化
• Abstract要約: DynaTEはハードウェア-ソフトウェアの共同設計アーキテクチャで、dLLMデコーディング中にアクセラレーションの実行をトークン状態に動的に適応させる。 2つの代表的dLLM、DynaTE 2.05--2.78$times$スピードアップ、2.99--3.93$times$最先端のdLLMアクセラレータよりも高いエネルギー効率で評価された。
• 参考スコア（独自算出の注目度）: 14.091286940197337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion-based LLMs (dLLMs) have recently emerged as a promising alternative to autoregressive (AR) LLMs by enabling bidirectional parallel refinement, alleviating the sequential decoding bottleneck of AR generation. However, their parallel iterative refinement mismatches AR accelerators optimized for sequential decoding and their discrete token generation differs from DiT accelerators designed for continuous denoising. Recent dLLM accelerators have explored workload-specific optimizations to reduce vocabulary processing overhead and redundant computation across denoising iterations. However, these approaches retain all tokens in parallel execution, despite varying token refinement utility and execution requirements. This paper presents DynaTE, a hardware--software co-design architecture that dynamically adapts accelerator execution to evolving token states during dLLM decoding. DynaTE first enables adaptive token execution by skipping low-utility token computation, while a dimension-reconfigurable PE array maintains high utilization under varying active-token patterns. Second, DynaTE exploits dynamic token dependencies through FLDD to refine a small number of locally dependent tokens within the current iteration, reducing the overall number of denoising iterations, while a Merge--Split--Merge dataflow hides the resulting serial overhead. Third, a streaming vocabulary engine interleaves multiple token streams from the LM head to accommodate irregular output variations caused by selective token computation and uneven vocabulary-selection demands. Evaluated on two representative dLLMs, DynaTE achieves 2.05--2.78$\times$ speedup and 2.99--3.93$\times$ higher energy efficiency over state-of-the-art dLLM accelerators, while delivering 2.55$\times$ speedup and 6.07$\times$ higher energy efficiency over Jetson AGX Orin.
• Abstract（参考訳）: 拡散に基づくLLM(dLLMs)は、最近、双方向並列処理を可能にし、AR生成のシーケンシャルデコードボトルネックを軽減することで、自己回帰(AR)LLMの代替となる有望なものとして登場した。 しかし、並列反復精錬ミスマッチARアクセラレータはシーケンシャルデコードに最適化され、離散トークン生成は連続デノナイズ用に設計されたDiTアクセラレータとは異なる。 最近のdLLMアクセラレーターは、ボキャブラリ処理のオーバーヘッドを減らし、反復を減らし冗長な計算を行うために、ワークロード固有の最適化を探索している。 しかしながら、これらのアプローチは、さまざまなトークン精錬ユーティリティと実行要件にもかかわらず、すべてのトークンを並列実行で保持する。 本稿では,ハードウェア-ソフトウェア共同設計アーキテクチャであるDynaTEについて述べる。 DynaTEは、まず低ユーティリティトークン計算をスキップすることで適応トークンの実行を可能にし、一方、次元再構成可能なPEアレイは、様々なアクティブトークンパターンの下で高い利用率を維持する。 第2に、DynaTEはFLDDを通じて動的トークンの依存関係を利用して、現在のイテレーション内で少数のローカル依存トークンを洗練し、デノナイズするイテレーションの総数を削減します。 第3に、ストリーミング語彙エンジンはLMヘッドから複数のトークンストリームをインターリーブし、選択トークン計算と不均一な語彙選択要求に起因する不規則な出力変動に対応する。 2つの代表的dLLMで評価され、DynaTEは2.05--2.78$\times$スピードアップと2.99--3.93$\times$最先端のdLLMアクセラレータよりも高いエネルギー効率を実現し、2.55$\times$スピードアップと6.07$\times$Jetson AGX Orinよりも高いエネルギー効率を実現している。

関連論文リスト

• Trajectory-Level Speculative Decoding for Diffusion Language Models [16.97093186372498]
  拡散ベースの言語モデル (dLLM) は反復的復号化による並列トークン生成を可能にするが、既存の復号化戦略は信頼性の低い単一トークン生成に崩壊する。 そこで我々は,信頼層木探索による起草軌道構築のためのトラジェクトリレベルの投機フレームワークを開発した。 我々のフレームワークはデノーミングを30～40%削減し、トークン単位のステップを2.6から4.3に増やし、バニラdLLMを7～14倍、Fast-dLLMを1.3倍、推論とコードベンチマークを1%未満で高速化する。
  論文  参考訳（メタデータ） (2026-08-27T09:42:20Z)
• SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
  拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。 彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。 我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。 提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
  論文  参考訳（メタデータ） (2026-06-01T17:46:46Z)
• Dynamic-dLLM: Dynamic Cache-Budget and Adaptive Parallel Decoding for Training-Free Acceleration of Diffusion LLM [35.77320928871856]
  トレーニング不要なフレームワークであるDynamic-dLLMを提案する。 LLaDA-8B-Instruct、LLaDA-1.5、Dream-v0-7B-Instructといったモデルの実験では、動的dLLMが推論速度を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2026-05-27T02:47:50Z)
• AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
  動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。 計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。 AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
  論文  参考訳（メタデータ） (2026-03-12T12:46:42Z)
• Fast-dLLM v2: Efficient Block-Diffusion LLM [64.38006546510337]
  Fast-dLLM v2はブロック拡散言語モデルで、訓練済みのARモデルをdLLMに適応して並列テキストを生成する。 これは、Dream(580Bトークン)のようなフルアテンション拡散LDMと比較して、トレーニングデータの500倍の減少を示す。
  論文  参考訳（メタデータ） (2025-09-30T14:40:18Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。 現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• Wide-In, Narrow-Out: Revokable Decoding for Efficient and Effective DLLMs [57.69190972274813]
  Diffusion Large Language Models (DLLM) は、自動回帰モデルの魅力的な代替品として登場した。 既存のDLLMは、高速な並列復号化によって性能が著しく低下する、厳しい品質と速度のトレードオフに悩まされている。 本稿では,DLLMの復号化を可能にするトレーニング不要復号アルゴリズムであるWide-In, Narrow-Out (WINO)を紹介する。
  論文  参考訳（メタデータ） (2025-07-24T16:51:33Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Dynamically Reconfigurable Variable-precision Sparse-Dense Matrix Acceleration in Tensorflow Lite [0.0]
  FADES(Fused Architecture for Dense and Sparse matrices)と呼ばれる動的に再構成可能なハードウェアアクセラレータを提案する。 FADES設計は、データフローモデルを使用して複雑さと並列性をトレードオフする複数の設定オプションを提供し、結果の読み込み、計算、スケール、書き込みの4つのステージを作成する。 また,ソフトウェア最適化のNEON RUYライブラリ上では,単一コアで最大20倍の高速化を実現している。
  論文  参考訳（メタデータ） (2023-04-17T12:31:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。