論文の概要: SAID: Accelerating Diffusion-Based Language Models via Scaffold-Aware Iterative Decoding

• arxiv url: http://arxiv.org/abs/2606.04974v1
• Date: Wed, 03 Jun 2026 14:56:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 07:07:40.509072
• Title: SAID: Accelerating Diffusion-Based Language Models via Scaffold-Aware Iterative Decoding
• Title（参考訳）: SAID: Scaffold-Aware Iterative Decodingによる拡散型言語モデルの高速化
• Authors: Na Li, Chengda Wang, Mingju Gao, Hao Tang,
• Abstract要約: 拡散大言語モデル (DLLM) は、双方向コンテキストで劣化したトークンを反復的にデノベートすることで、非自己回帰的な計算生成を可能にする。 本稿では,トークン間の再配置によってDLLMを高速化するScaffold-Aware Iterative DecodingフレームワークであるSAIDを提案する。 数学、コーディング、知識ベンチマークにおけるLLaDA-8BとLLaDA 1.5の実験は、SAIDが競争性能を維持しながら最大9.1倍の速度で推論を著しく加速することを示している。
• 参考スコア（独自算出の注目度）: 11.233923872369202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion large language models (DLLMs) enable non-autoregressive generation by iteratively denoising corrupted token sequences with bidirectional context. Despite their ability to update multiple positions in parallel, inference remains costly due to the many denoising steps required for high-quality generation. We propose SAID, a Scaffold-Aware Iterative Decoding framework that accelerates DLLMs by reallocating computation across tokens. SAID first spends denoising computation on scaffold tokens to establish the coarse semantic structure, and then completes predictable detail tokens with fewer steps. We further adapt SAID to block-wise diffusion decoding and introduce Confidence-Hierarchical Layered Generation (CHLG), which assigns additional steps only to low-confidence tokens. Experiments on LLaDA-8B and LLaDA 1.5 across math, coding, and knowledge benchmarks show that SAID significantly accelerates DLLM inference with a maximum speedup of 9.1x while maintaining competitive performance. Our code is publicly available: https://github.com/TH-AI-Lab-PKU/SAID.
• Abstract（参考訳）: 拡散大言語モデル (DLLM) は、双方向コンテキストで劣化したトークン列を反復的に復調することで、非自己回帰生成を可能にする。 並列に複数の位置を更新できるにもかかわらず、推論は高品質な生成に必要な多くのデノナイジングステップのためにコストがかかる。 本稿では,トークンをまたいで計算を実行することでDLLMを高速化するScaffold-Aware Iterative DecodingフレームワークであるSAIDを提案する。 SAIDはまず、足場トークンに計算をノイズ付けして、粗いセマンティック構造を確立し、より少ないステップで予測可能な詳細トークンを完成させる。 さらに、ブロックワイド拡散復号化にSAIDを適用し、低信頼トークンにのみ追加ステップを割り当てる信頼階層生成(CHLG)を導入する。 LLaDA-8B と LLaDA 1.5 を数学、コーディング、知識ベンチマークで比較したところ、SAID は最大 9.1 倍の速度でDLLM推論を著しく加速し、競争性能を維持している。 私たちのコードは、https://github.com/TH-AI-Lab-PKU/SAID.comで公開されています。

関連論文リスト

• SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
  拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。 彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。 我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。 提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
  論文  参考訳（メタデータ） (2026-06-01T17:46:46Z)
• DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
  そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。 DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-03-09T07:02:01Z)
• Residual Context Diffusion Language Models [90.07635240595926]
  Residual Context Diffusion (RCD) は、捨てられたトークン表現をコンテキスト残留に変換し、次のデノイングステップでそれらを注入するモジュールである。 RCDは、最小限の計算オーバーヘッドで、5-10ポイントの精度でフロンティアdLLMを一貫して改善する。
  論文  参考訳（メタデータ） (2026-01-30T13:16:32Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Fast and Fluent Diffusion Language Models via Convolutional Decoding and Rejective Fine-tuning [23.58934174168992]
  Autoregressive (AR)言語モデルでは、テキストを1つずつ生成することで、推論速度が制限される。 ハードセグメンテーションなしでデコードウインドウを狭める正規化法である畳み込み復号法(Conv)を提案する。 Rejecting Rule-based Fine-Tuning (R2FT)も導入しています。
  論文  参考訳（メタデータ） (2025-09-18T17:48:21Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。