論文の概要: Predict, Don't Iterate: Efficient Adaptive-Length Infilling for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2609.02108v1
• Date: Wed, 02 Sep 2026 04:52:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.088817
• Title: Predict, Don't Iterate: Efficient Adaptive-Length Infilling for Diffusion Language Models
• Title（参考訳）: 反復しないで、予測:拡散言語モデルに適応長を効率よく埋め込む
• Abstract要約: 拡散言語モデル (DLMs) は自己回帰パラダイムに代わる有望な代替品として登場した。 本稿では,DLMの効率的な埋め込み法であるPILL(Probing-based InfiLling with preset-Length-free decoding)を提案する。
• 参考スコア（独自算出の注目度）: 78.02669593911784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models (DLMs) have emerged as a promising alternative to the auto-regressive paradigm. With bidirectional attention and any-order generation, DLMs naturally fit infilling tasks, which require generating a middle span conditioned on both the prefix and the suffix. However, infilling is sensitive to the length of the span, while DLMs require the length to be fixed before generation. Although prior studies extend DLMs to dynamic lengths, they still suffer from two limitations. (i) Sensitivity to initial length. These methods require a preset length to initialize the search and are highly sensitive to this initial length, often yielding suboptimal results. (ii) Inference inefficiency. They either insert length-changing operations during generation or repeatedly search for an appropriate length using multi-step denoising confidence, both of which introduce substantial extra forward passes and computational cost. Therefore, we propose PILL (Probing-based InfiLling with preset-Length-free decoding), an efficient infilling method for DLMs that requires no preset initial length and adds far fewer extra forward passes than baselines, substantially reducing inference time. Experiments show that, across five DLMs spanning different families, architectures, and training recipes on eight infilling benchmarks, PILL improves over the strongest baseline by +4.8 average pass rate on code and +6.0 BLEU-2 on text, while running 1.82x faster than that baseline. The code is available at https://github.com/Hsu1023/PILL.
• Abstract（参考訳）: 拡散言語モデル (DLMs) は自己回帰パラダイムに代わる有望な代替品として登場した。 双方向の注意と任意の順序の生成により、DLMは自然に埋め込んだタスクに適合し、プレフィックスと接尾辞の両方に条件付きミドルスパンを生成する必要がある。 しかし、インフィルはスパンの長さに敏感であり、DLMは生成前に長さを固定する必要がある。 以前の研究はDLMを動的長に拡張したが、それでも2つの限界に悩まされている。 (i)初期長さに対する感度。 これらの手法は、探索を初期化するために予め設定された長さを必要とし、この初期長に非常に敏感であり、しばしば準最適結果をもたらす。 二 推論の効率が悪いこと。 生成中の長さ変化操作を挿入するか、複数ステップのデノナイズされた信頼度を用いて、繰り返し適切な長さを探索するかのいずれかで、どちらもかなりのフォワードパスと計算コストをもたらす。 そこで本研究では,プリセットした初期長さを必要とせず,ベースラインよりもはるかに少ないフォワードパスを付加し,推論時間を著しく短縮するDLMの効率的な埋め込み手法であるPILLを提案する。 実験の結果、異なるファミリー、アーキテクチャ、トレーニングのレシピを8つのベンチマークでカバーする5つのDLMにおいて、PILLはコード平均パスレート+4.8、テキスト平均パスレート+6.0 BLEU-2を改善し、ベースラインよりも1.82倍高速であることがわかった。 コードはhttps://github.com/Hsu1023/PILL.comから入手できる。

関連論文リスト

• Survival-Guided Length Control for Efficient Diffusion Language Models [15.49436655340166]
  終端トークン上での離散時間生存問題として長さ選択をリキャストする。 既存のDLMに付加可能なプラグイン・トレーニング不要長予測器を提案する。
  論文  参考訳（メタデータ） (2026-08-26T19:59:42Z)
• Diffusion LMs Can Approximate Optimal Infilling Lengths Implicitly [16.576341843767352]
  拡散言語モデル(DLM)は、自然に埋め込むのに適した双方向生成フレームワークを提供する。 本稿では, DLM には, 適切な埋蔵長さを検出できる固有の能力があることを明らかにする。 トレーニング不要な textbfCAL により DLM は正規復号化前の効率的な探索により最適な長さを近似することができる。
  論文  参考訳（メタデータ） (2026-01-31T03:00:21Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• Beyond Fixed: Training-Free Variable-Length Denoising for Diffusion Large Language Models [74.15250326312179]
  拡散大言語モデルは効率的な並列生成とグローバルモデリングを提供する。 DLLMの主流の応用は、静的に事前定義された生成長の必要性によって妨げられている。 DAEDALは,動的適応長拡張を可能にする新しい学習自由化戦略である。
  論文  参考訳（メタデータ） (2025-08-01T17:56:07Z)
• ETT: Expanding the Long Context Understanding Capability of LLMs at Test-Time [4.737679362712655]
  ourmodelacronym(Extend at Test-Time)は、短いコンテキストのコンテクスト長を変換子ベースの言語モデルに拡張する手法である。 GPT-LargeとPhi-2のコンテキスト長を32倍に拡張し,LongBench上のETTを評価する。
  論文  参考訳（メタデータ） (2025-07-08T18:06:45Z)
• Dimple: Discrete Diffusion Multimodal Large Language Model with Parallel Decoding [53.82301522384719]
  Dimple, the first Discrete Multimodal Large Language Model (DMLLM)を提案する。 我々は,初期自己回帰フェーズとその後の拡散フェーズを組み合わせた新しい訓練パラダイムを設計する。 Dimple-7BはLLaVA-を3.9%上回り、DMLLMは自己回帰モデルに匹敵する性能を達成できることを示した。
  論文  参考訳（メタデータ） (2025-05-22T17:55:04Z)
• Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
  Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。 さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-05-29T17:55:03Z)
• InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory [93.20588235940453]
  本稿では,トレーニング不要なメモリベースのInfLLMを提案する。 InfLLMは、リモートコンテキストを追加のメモリユニットに格納し、トークン関連ユニットを注目するために効率的なメカニズムを使用する。 シーケンス長が$1,024$Kにスケールしても、InfLLMは依然として、長距離依存関係を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-02-07T06:50:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。