論文の概要: Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata

• arxiv url: http://arxiv.org/abs/2607.07026v1
• Date: Wed, 08 Jul 2026 05:48:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.287545
• Title: Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata
• Title（参考訳）: 有限オートマタ上での効率的な推論による拡散言語モデルの制約付きデコーディング
• Abstract要約: 有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
• 参考スコア（独自算出の注目度）: 57.27430779838529
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constrained decoding is essential for serving LLMs, ensuring that generated outputs follow specific structures such as JSON schema-formatted function calls. Existing systems are designed for autoregressive models and assume left-to-right generation, masking out invalid next tokens at each step. Diffusion language models, however, break this assumption: they sample multiple positions simultaneously from a fully-factorized mean-field distribution at each denoising step. In this paper, we present an exact and tractable algorithm for sampling from the constrained mean-field posterior under any constraint expressible as a finite automaton. Viewing finite automata as graphical models, we obtain tractable representations of the constrained distribution that enable efficient inference. The approach guarantees constraint satisfaction by construction, supports both greedy and sampling-based decoding, and is compatible with parallel and block-wise decoding under arbitrary remasking schedules. Applying depth-reduction techniques from arithmetic circuit theory, we further reduce sampling depth from linear to logarithmic in the sequence length. Empirical evaluations on Dream-7B and LLaDA-8B show substantial accuracy gains across various tasks including function calling (xLAM, BFCL), planning (Sudoku, Countdown), text-to-SQL (Spider), and math reasoning (GSM-Symbolic), with little inference overhead relative to unconstrained decoding. For example, on BFCL-Live, our approach improves Dream-7B's greedy decoding accuracy from 63.9% to 71.5%, and stochastic sampling accuracy from 22.3% to 69.0%, where the unconstrained baseline collapses, with under 5% wall-clock overhead.
• Abstract（参考訳）: 制約付きデコーディングはLLMの提供に不可欠であり、生成された出力がJSONスキーマ形式の関数呼び出しのような特定の構造に従うことを保証する。 既存のシステムは自動回帰モデルのために設計されており、各ステップで無効な次のトークンを隠蔽して左から右に生成する。 しかし、拡散言語モデルはこの仮定を破り、各デノナイジングステップにおいて、完全に分解された平均場分布から複数の位置を同時にサンプリングする。 本稿では,有限オートマトンとして表現可能な制約条件下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 有限オートマトンをグラフィカルモデルとして見ることにより,効率的な推論を可能にする制約分布の抽出可能な表現が得られる。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、任意のリメイキングスケジュールの下で並列およびブロックワイドデコーディングと互換性がある。 算術的回路理論から深度還元手法を適用することにより、配列長の線形から対数へのサンプリング深度をさらに削減する。 Dream-7BとLLaDA-8Bの実証的な評価は、関数呼び出し(xLAM、BFCL)、プランニング(Sudoku、Countdown)、テキストからSQL(Spider)、数学推論(GSM-Symbolic)など、様々なタスクにおいてかなりの精度向上を示し、制約のないデコードに対する推論オーバーヘッドが少ない。 例えば、BFCL-Liveでは、Dream-7Bのグリージー復号精度を63.9%から71.5%に改善し、確率的サンプリング精度を22.3%から69.0%に改善した。

関連論文リスト

• Adaptation to Intrinsic Dependence in Diffusion Language Models [5.185131234265025]
  拡散言語モデル(DLM)は自己回帰(AR)アプローチに代わる有望な代替手段として登場した。 対象データ分布の(未知の)依存構造に適応するDLMの分布に依存しないアンマスキングスケジュールを提案する。 この結果は, 先行収束理論を著しく改善し, 低複雑さ分布に対する相当なサンプリング加速を得た。
  論文  参考訳（メタデータ） (2026-02-23T18:41:34Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• Free Draft-and-Verification: Toward Lossless Parallel Decoding for Diffusion Large Language Models [8.407364705777587]
  本稿では,DLLMに適した高速デコードアルゴリズムFree Draft-and-Verification(FreeDave)を紹介する。 FreeDaveは、パフォーマンスを低下させることなく、推論スループットを最大3.78倍に向上させることが証明されている。
  論文  参考訳（メタデータ） (2025-09-30T21:28:04Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。