論文の概要: Saber: An Efficient Sampling with Adaptive Acceleration and Backtracking Enhanced Remasking for Diffusion Language Model

• arxiv url: http://arxiv.org/abs/2510.18165v1
• Date: Mon, 20 Oct 2025 23:38:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.72859
• Title: Saber: An Efficient Sampling with Adaptive Acceleration and Backtracking Enhanced Remasking for Diffusion Language Model
• Title（参考訳）: Saber: 拡散言語モデルのための適応的な高速化とバックトラック強化による効率的なサンプリング
• Authors: Yihong Dong, Zhaoyu Ma, Xue Jiang, Zhiyuan Fan, Jiaru Qian, Yongmin Li, Jianha Xiao, Zhi Jin, Rongyu Cao, Binhua Li, Fei Huang, Yongbin Li, Ge Li,
• Abstract要約: 拡散言語モデル(DLM)は、支配的な自己回帰パラダイムに代わる強力で有望な選択肢として現れています。 コード生成における推論速度と出力品質の向上を実現するために,適応加速度を用いた効率的なサンプリングとバックトラック強化リマッシング(セイバー)を導入する。
• 参考スコア（独自算出の注目度）: 98.35868970993232
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models (DLMs) are emerging as a powerful and promising alternative to the dominant autoregressive paradigm, offering inherent advantages in parallel generation and bidirectional context modeling. However, the performance of DLMs on code generation tasks, which have stronger structural constraints, is significantly hampered by the critical trade-off between inference speed and output quality. We observed that accelerating the code generation process by reducing the number of sampling steps usually leads to a catastrophic collapse in performance. In this paper, we introduce efficient Sampling with Adaptive acceleration and Backtracking Enhanced Remasking (i.e., Saber), a novel training-free sampling algorithm for DLMs to achieve better inference speed and output quality in code generation. Specifically, Saber is motivated by two key insights in the DLM generation process: 1) it can be adaptively accelerated as more of the code context is established; 2) it requires a backtracking mechanism to reverse the generated tokens. Extensive experiments on multiple mainstream code generation benchmarks show that Saber boosts Pass@1 accuracy by an average improvement of 1.9% over mainstream DLM sampling methods, meanwhile achieving an average 251.4% inference speedup. By leveraging the inherent advantages of DLMs, our work significantly narrows the performance gap with autoregressive models in code generation.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、並列生成と双方向コンテキストモデリングに固有のアドバンテージを提供する、支配的な自己回帰パラダイムに代わる強力で有望な代替品として出現している。 しかし、より強い構造制約を持つコード生成タスクにおけるDLMの性能は、推論速度と出力品質の致命的なトレードオフによって著しく阻害される。 サンプリングステップの削減によるコード生成プロセスの高速化は,通常,パフォーマンスの破滅的な崩壊につながることが観察された。 本稿では,DLMのための新しいトレーニングフリーサンプリングアルゴリズムである,適応加速度を用いた効率的なサンプリングとバックトラック強化リマッシング(Saber)を導入し,コード生成における推論速度と出力品質の向上を図る。 具体的には、Saberは、DLM生成プロセスにおける2つの重要な洞察によって動機付けられています。 1) コードコンテキストの確立が進むにつれて,適応的に加速することができる。 2) 生成されたトークンを反転させるバックトラッキング機構が必要である。 複数の主流コード生成ベンチマークに関する大規模な実験は、SaberがPass@1の精度を、メインストリームのDLMサンプリングメソッドよりも平均1.9%向上し、平均251.4%の推論スピードアップを達成したことを示している。 DLMの本質的な利点を活用することで、コード生成における自己回帰モデルによるパフォーマンスギャップを大幅に狭めることができます。

関連論文リスト

• Spiffy: Multiplying Diffusion LLM Acceleration via Lossless Speculative Decoding [40.96405124314983]
  拡散LDM (dLLMs) は、最近自己回帰LDM (AR-LLMs) の強力な代替品として登場した。 現在利用可能なオープンソースdLLMは、多くの場合、より低いレートで生成される。 本稿では,dLLM推論を$mathbf2.8-3.1times$で高速化し,モデルの出力分布を確実に保存する投機的復号アルゴリズムであるSpiffyを提案する。
  論文  参考訳（メタデータ） (2025-09-22T17:58:21Z)
• Wide-In, Narrow-Out: Revokable Decoding for Efficient and Effective DLLMs [57.69190972274813]
  Diffusion Large Language Models (DLLM) は、自動回帰モデルの魅力的な代替品として登場した。 既存のDLLMは、高速な並列復号化によって性能が著しく低下する、厳しい品質と速度のトレードオフに悩まされている。 本稿では,DLLMの復号化を可能にするトレーニング不要復号アルゴリズムであるWide-In, Narrow-Out (WINO)を紹介する。
  論文  参考訳（メタデータ） (2025-07-24T16:51:33Z)
• DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
  拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。 本研究は,それらの認知過程と強化学習手法について考察する。 我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
  論文  参考訳（メタデータ） (2025-06-25T17:35:47Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。