論文の概要: Lookahead-then-Verify: Reliable Constrained Decoding for Diffusion LLMs under Context-Free Grammars

• arxiv url: http://arxiv.org/abs/2602.00612v1
• Date: Sat, 31 Jan 2026 08:58:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.287175
• Title: Lookahead-then-Verify: Reliable Constrained Decoding for Diffusion LLMs under Context-Free Grammars
• Title（参考訳）: Lookahead-then-Verify: 文脈自由文法に基づく拡散LDMの信頼性制約デコーディング
• Authors: Yitong Zhang, Yongmin Li, Yuetong Liu, Jia Li, Xiaoran Jia, Zherui Li, Ge Li,
• Abstract要約: 本稿では,dLLMに特化して設計された制約付き復号法であるLAVEを提案する。 提案手法は,dLLMの鍵となる特性,すなわち前方通過時の全位置のトークン分布を予測する能力を利用する。 広く使用されている4つのdLLMと3つの代表的なベンチマークによる大規模な実験は、LAVEが既存のベースラインを一貫して上回り、構文的正確性を大幅に改善し、無視可能なランタイムオーバーヘッドを発生させることを示した。
• 参考スコア（独自算出の注目度）: 17.13122301190815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Large Language Models (dLLMs) have demonstrated promising generative capabilities and are increasingly used to produce formal languages defined by context-free grammars, such as source code and chemical expressions. However, as probabilistic models, they still struggle to generate syntactically valid outputs reliably. A natural and promising direction to address this issue is to adapt constrained decoding techniques to enforce grammatical correctness during generation. However, applying these techniques faces two primary obstacles. On the one hand, the non-autoregressive nature of dLLMs renders most existing constrained decoding approaches inapplicable. On the other hand, current approaches specifically designed for dLLMs may allow intermediate outputs that are impossible to complete into valid sentences, which significantly limits their reliability in practice. To address these challenges, we present LAVE, a constrained decoding approach specifically designed for dLLMs. Our approach leverages a key property of dLLMs, namely their ability to predict token distributions for all positions in parallel during each forward pass. Whenever a new token is proposed by model, LAVE performs lookahead using these distributions to efficiently and reliably verify the validity of the proposed token. This design ensures reliable constraints by reliably preserving the potential for intermediate outputs to be extended into valid sentences. Extensive experiments across four widely used dLLMs and three representative benchmarks demonstrate that LAVE consistently outperforms existing baselines and achieves substantial improvements in syntactic correctness, while incurring negligible runtime overhead.
• Abstract（参考訳）: 拡散大言語モデル(dLLM)は、有望な生成能力を示し、ソースコードや化学式などの文脈自由文法で定義される形式言語の作成にますます利用されている。 しかし、確率論的モデルとして、彼らは依然として構文的に有効な出力を確実に生成するのに苦労している。 この問題に対処するための自然で有望な方向は、生成中の文法的正しさを強制するために制約付き復号法を適用することである。 しかし、これらの手法の適用には2つの主要な障害がある。 一方、dLLMsの非自己回帰性は、既存の制約付き復号法を適用不可能にしている。 一方、dLLMに特化して設計された現在のアプローチは、有効な文に完成できない中間出力を許容し、実際の信頼性を著しく制限する。 これらの課題に対処するため、我々は、dLLM向けに特別に設計された制約付き復号法であるLAVEを提案する。 提案手法は,dLLMの鍵となる特性,すなわち前方通過時の全位置のトークン分布を予測する能力を利用する。 モデルにより新しいトークンが提案されると、LAVEはこれらの分布を用いてルックアヘッドを行い、提案トークンの有効性を効率よく確実に検証する。 この設計は、中間出力が有効な文に拡張される可能性を確実に保ち、信頼性の高い制約を保証する。 広く使用されている4つのdLLMと3つの代表的なベンチマークによる大規模な実験は、LAVEが既存のベースラインを一貫して上回り、構文的正確性を大幅に改善し、無視可能なランタイムオーバーヘッドを発生させることを示した。

関連論文リスト

• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• The Flexibility Trap: Why Arbitrary Order Limits Reasoning Potential in Diffusion Language Models [67.58848748317506]
  拡散大言語モデル(dLLM)は、従来のLLMの厳格な左から右への制約を破る。 本稿では,dLLMsの推論境界を広げるよりも,任意の順序生成を現在の形式で狭くするという,直感に反する現実を明らかにする。
  論文  参考訳（メタデータ） (2026-01-21T16:41:58Z)
• Deferred Commitment Decoding for Diffusion Language Models with Confidence-Aware Sliding Windows [33.361153168706444]
  トレーニング不要なデコード戦略として,Dederred Commitment Decoding (DCD)を提案する。 DCDは、マスクされたトークンの上に信頼性を意識したスライディングウィンドウを保持しており、十分な文脈証拠が得られるまで、高い不確実性トークンを延期しながら、早期に低不確実性トークンを解決している。 実験の結果、DCDは固定ブロックベースの拡散法に比べて平均時間で1.39%向上し、最も顕著な改善は9.0%に達した。
  論文  参考訳（メタデータ） (2026-01-05T12:57:33Z)
• Diffusion LLM with Native Variable Generation Lengths: Let [EOS] Lead the Way [23.877854550033224]
  拡散に基づく大規模言語モデル (dLLMs) は、並列テキスト生成にかなりの可能性を秘めている。 現在のdLLMは、デコード前にdLLMの生成長を決定する必要があることを示す固定生成長に悩まされている。 本稿では,dLLM-Var と略して,固有変数生成長を持つ拡散 LLM の学習を提案する。
  論文  参考訳（メタデータ） (2025-10-28T16:32:43Z)
• Finish First, Perfect Later: Test-Time Token-Level Cross-Validation for Diffusion Large Language Models [47.5976588836299]
  拡散大言語モデル(dLLM)は、並列デコーディングの高速化や双方向コンテキストモデリングといった利点を提供する。 離散dLLMにおけるバニラデコーディング戦略は、重要な制限に悩まされる。トークンが受け入れられると、後続のステップで修正することはできない。 予測トークン間のクロスバリデーションを利用するトレーニングフリーなデコーディング戦略であるToleratorを提案する。
  論文  参考訳（メタデータ） (2025-10-06T17:56:46Z)
• Constrained Decoding of Diffusion LLMs with Context-Free Grammars [1.0923877073891446]
  大規模言語モデル(LLM)は、様々な領域で有望なパフォーマンスを示している。 本稿では拡散モデルに対する最初の制約付き復号法を提案する。 本手法は,機能的正当性を維持しつつ,ほぼ完全な統語的正当性を達成できることを示す。
  論文  参考訳（メタデータ） (2025-08-13T18:09:09Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion [55.0194604505437]
  投機的復号化は,大規模言語モデル推論を高速化する手法として広く採用されている。 本稿では,離散拡散モデルを用いてドラフトシーケンスを生成する投機的復号法を提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:24:25Z)
• Adaptive Draft-Verification for Efficient Large Language Model Decoding [24.347886232342862]
  大規模言語モデル(LLM)デコードでは、与えられたコンテキストに基づいてトークンのシーケンスを生成する。 典型的な自己回帰復号法では、生成されたトークンごとに別の前方通過が必要となる。 微調整を必要とせずにLDMデコーディングを高速化するADEDを導入する。
  論文  参考訳（メタデータ） (2024-06-27T22:20:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。