論文の概要: AsyncLane: Decoupling Refinement from Advancement in Diffusion Language Model Decoding

• arxiv url: http://arxiv.org/abs/2606.08411v1
• Date: Sun, 07 Jun 2026 02:24:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.092776
• Title: AsyncLane: Decoupling Refinement from Advancement in Diffusion Language Model Decoding
• Title（参考訳）: AsyncLane: 拡散言語モデルデコーディングの進歩から、リファインメントの分離
• Authors: Yingxuan Ren, Yuxuan Lou, Yong Liu, Pengcheng Fang, Ziming Wang, Pengfei Zhou, Yang You,
• Abstract要約: AsyncLaneはブロックワイドDLMサンプルのドロップイン代替であり、再トレーニングを必要としない。 AsyncLaneは、競争力のある品質を維持しながら、スループットを継続的に改善する。
• 参考スコア（独自算出の注目度）: 32.46633463559895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Block-wise semi-autoregressive decoding is the standard inference paradigm for diffusion large language models (DLMs), but it imposes a strict dependency between blocks: the next block cannot begin until the current block is fully decoded or its denoising budget is exhausted. We observe that once a block exposes a reliable delimiter boundary or stable semantic prefix, continuation generation need not wait for every residual token to be resolved. We propose AsyncLane, a training-free decoding scheduler that decouples refinement from advancement. AsyncLane forks a generate lane at observed delimiter boundaries into a refine lane and a continuation generate lane: the prefix remains editable, while the continuation advances before prefix refinement finishes. The resulting lane tree records decoding dependencies and output order, while execution proceeds over the active lane set. To make this asynchronous schedule efficient under bidirectional attention, AsyncLane combines shared-prefix lane batching, lookahead draft reuse, cascading termination, and compact cache refresh with refresh-logit reuse, preventing model-call cost from scaling directly with the number of lanes. AsyncLane is a drop-in replacement for block-wise DLM samplers and requires no retraining. Experiments on mathematical reasoning and code generation show that AsyncLane consistently improves throughput while maintaining competitive quality. Across LLaDA and Dream backbones, AsyncLane achieves the highest TPS in all evaluated benchmark-length settings; relative to the fastest competing baseline, it reaches peak speedups of 2.95x on LLaDA and 3.04x on Dream, with especially large gains under longer generation budgets.
• Abstract（参考訳）: ブロックワイド半自己回帰デコーディングは拡散大言語モデル(DLM)の標準推論パラダイムであるが、ブロック間の厳密な依存関係を課している。 ブロックが信頼できるデリミタ境界や安定したセマンティックプレフィックスを公開すると、継続生成はすべての残余トークンが解決されるのを待つ必要がなくなる。 我々は、改良を進歩から切り離す訓練不要のデコードスケジューラであるAsyncLaneを提案する。 AsyncLaneは、観測されたデリミタ境界における生成レーンを精巧なレーンにフォークし、継続して生成レーンを生成する。 結果として得られたレーンツリーは、依存関係と出力順序をデコードし、実行はアクティブレーンセット上で進行する。 この非同期スケジュールを双方向の注意の下で効率的にするために、AsyncLaneでは、共有プレフィックスレーンバッチ、ルックアヘッドドラフトの再利用、カスケード終了、キャッシュリフレッシュとリフレッシュログの再利用を併用することで、モデルコールコストがレーン数に直接スケールすることを防止する。 AsyncLaneはブロックワイドDLMサンプルのドロップイン代替であり、再トレーニングを必要としない。 数学的推論とコード生成の実験は、AsyncLaneが競争力のある品質を維持しながらスループットを継続的に改善していることを示している。 LLaDAとDreamのバックボーン全体では、AsyncLaneはベンチマーク長設定で最高のTPSを達成しており、最速の競合ベースラインと比較して、LLaDAでは2.95倍、Dreamでは3.04倍のピーク速度に達し、特により長い世代の予算で大きな利益を上げている。

関連論文リスト

• Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
  ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。 本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。 実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
  論文  参考訳（メタデータ） (2026-05-16T07:50:13Z)
• Beyond Scattered Acceptance: Fast and Coherent Inference for DLMs via Longest Stable Prefixes [10.877713536966601]
  Longestahead Prefix(LSP)スケジューラは、モノリシックプレフィックスの吸収に基づく、トレーニング不要でモデルに依存しない推論パラダイムである。 LSPは1つのフォワードパスを介してトークンの安定性を評価し、安定な予測の連続した左整列ブロックを動的に識別する。 原子のコミットメントの前に、言語や構造的受容の境界を画定する。
  論文  参考訳（メタデータ） (2026-03-05T18:25:26Z)
• Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference [58.189320101488725]
  DLLMは高速な非自己回帰推論を約束するが、並列デコーディングにおいて厳しい品質と速度のトレードオフを被る。 我々は、連続表現を離散デコードプロセスに統合することでこの問題に対処する。 本稿では,初期マスキング状態と最終復号化トークン状態の中間として,新しい連続混合状態を導入するフレームワークであるReMixを提案する。
  論文  参考訳（メタデータ） (2026-02-26T11:08:11Z)
• WeDLM: Reconciling Diffusion Language Models with Standard Causal Attention for Fast Inference [44.87788417755154]
  本稿では,標準因果注意に基づく拡散復号化フレームワークWeDLMを提案する。 WeDLMは強力なARバックボーンの品質を維持しつつ,大幅な高速化を実現している。
  論文  参考訳（メタデータ） (2025-12-28T01:25:48Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• AdaDecode: Accelerating LLM Decoding with Adaptive Layer Parallelism [17.858104076062897]
  大規模言語モデル (LLM) は、長いコンテンツ生成にますます使われている。 補助モデルや元のモデルパラメータの変更を必要とせずにデコーディングを高速化するAdaDecodeを提案する。 AdaDecodeは最大1.73倍のスピードアップで優れた復号処理を実現している。
  論文  参考訳（メタデータ） (2025-06-04T08:32:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。