論文の概要: DConstrain: Compiling Context-Parameterized Transitions for Diffusion Language Model Constrained Decoding
- arxiv url: http://arxiv.org/abs/2610.30920v1
- Date: Thu, 22 Oct 2026 08:40:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.286347
- Title: DConstrain: Compiling Context-Parameterized Transitions for Diffusion Language Model Constrained Decoding
- Title（参考訳）: DConstrain: 拡散言語モデルの制約付きデコードのための文脈パラメータ遷移をコンパイルする
- Abstract要約: 拡散言語モデル(DLM)は複数のトークンを並列にデコードするので、個別に有効なトークンはランタイムスキーマの下で象徴的に結合することができる。
本稿では,スキーマをコンテキストパラメータ化遷移プログラムにコンパイルするDConstrainを提案する。
トークン効果のグルーピング 実行時のコンテキストがバウンドされる前に同じコンパイルされたエフェクトを持つトークンをマージする。
- 参考スコア（独自算出の注目度）: 37.08521630305277
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion language models (DLMs) decode multiple tokens in parallel, so individually valid tokens can be incompatible together under a schema. Exact joint inference over a grammar graph enforces compatibility, but it requires token-labeled successors across many hypothetical parser configurations. Encoding stacks and field histories in compiled states can cause exponential growth, which forces prior exact decoders to fix property orders and exclude valid outputs. We present DConstrain, which compiles schemas into context-parameterized transition programs. Cold compilation specializes token consumption to local grammar states while retaining context-dependent stack operations, environment guards, and caller-dependent deferred parsing symbolically. Tracking field histories as runtime values supports arbitrary property order without enumerating field subsets offline. At runtime, warm compilation binds reached configurations to these programs to construct exact successors, overlapping with the model forward pass because graph construction requires no model scores. Furthermore, token-effect grouping merges tokens with identical compiled effects before runtime contexts are bound, so groups are reused across stacks and environments even when concrete successors differ. Objective-specific score aggregation and token restoration provably preserve both the Viterbi optimum and the token-labeled path distribution of ungrouped inference. Across three benchmarks and two DLM families, DConstrain compiles 100% of BFCL schemas under arbitrary property orders, whereas an optimized finite-state baseline compiles only 71.30-85.81%. Under arbitrary property order, it reduces BFCL end-to-end decoding latency by 6.65-46.26 times with 100% schema validity and raises DiffusionGemma's BFCL accuracy from 37.27% under fixed order to 81.56%.
- Abstract（参考訳）: 拡散言語モデル(DLM)は複数のトークンを並列にデコードするので、個別に有効なトークンはスキーマの下で互いに互換性がない。
文法グラフに対する厳密な共同推論は互換性を強制するが、多くの仮説パーザ構成をまたいだトークンラベル付き後継を必要とする。
コンパイルされた状態におけるスタックとフィールドヒストリーのエンコードは指数関数的な成長を引き起こす可能性があるため、事前のデコーダはプロパティの順序を修正し、有効な出力を排除せざるを得ない。
本稿では,スキーマを文脈パラメータ化トランジションプログラムにコンパイルするDConstrainを提案する。
コールドコンパイルは、コンテキスト依存のスタック操作、環境ガード、呼び出し元依存の遅延解析を象徴的に保持しながら、トークンの使用をローカルな文法状態に特化する。
実行時値としてフィールド履歴を追跡することは、フィールドサブセットをオフラインに列挙することなく、任意のプロパティ順序をサポートする。
実行時に、ウォームコンパイルは、これらのプログラムに到達した構成をバインドして、正確な後継を構築する。
さらに、トークン効果のグルーピングは、実行時コンテキストがバウンドされる前に同じコンパイルされたエフェクトとマージするので、具体的後継が異なる場合でも、グループはスタックや環境にまたがって再利用される。
目的特異的スコアアグリゲーションとトークン復元は、未グループ推論のViterbi最適化とトークンラベルパス分布の両方を確実に保存する。
3つのベンチマークと2つのDLMファミリで、DConstrainはBFCLスキーマの100%を任意のプロパティ順序でコンパイルする一方、最適化された有限状態ベースラインは71.30-85.81%しかコンパイルしない。
任意のプロパティ順序の下では、BFCLのエンドツーエンドの復号遅延を、100%のスキーマ妥当性で6.65-46.26倍に削減し、DiffusionGemmaのBFCLの精度を37.27%から81.56%に向上させる。
関連論文リスト
- Compiling Autoregressive LLM Control into Policy-Exact Parallel Inference for Hierarchical RAG [36.021356460663796]
大規模言語モデルは構造化決定パイプラインのコントローラとして機能するが、その決定は自動回帰テキストデコーディングによって実行される。
これは有界水平制御では不要であることを示す。
主要なMetaXデバイス上の4つのドキュメント分割と2つのスケールで、コンパイルされたコントロールは、シリアルポリシーを84$--$89%の質問で一致させる。
論文 参考訳（メタデータ） (2026-10-22T03:25:21Z) - Weighted State Souping for Efficient Long-Context Retrieval [52.13384953250926]
状態空間モデル(SSM)は、高速推論と固定状態サイズと競合する言語モデリング性能を組み合わせたものである。
キャッシュされた状態を構成するためのクエリ依存の重み付けを学習する簡単な方法である重み付け状態スープリングを提案する。
提案手法は効率の良いスパース変種にさらに適応することができ,文脈長に対してほぼ安定な符号化コストが得られる。
論文 参考訳（メタデータ） (2026-10-19T00:49:08Z) - SchemaFill: Efficient LLM Tool Calling via Slot-Parallel Speculative Decoding [84.95922754288466]
LLMFillは、自動回帰復号よりもエンドツーエンドのスループットを最大4.05$times$改善する。
GlaiveとBFCLでは、Fillは自動回帰デコーディングよりもエンドツーエンドのスループットを最大4.05$times$改善する。
論文 参考訳（メタデータ） (2026-10-05T12:22:34Z) - Hierarchical Continuous Diffusion Language Models [50.34180702812139]
階層型連続拡散言語モデル(HC-DLM)を提案する。
HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。
これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
論文 参考訳（メタデータ） (2026-10-01T17:59:39Z) - Rethinking Item Tokenization in Generative Recommenders: From Fixed Atoms to Semantic Subwords [50.621722853036005]
生成レコメンデーションシステムでは、アイテムは通常、自己回帰的次イテム予測のために固定長のセマンティックIDシーケンスにトークン化される。
ユーザコンテキストのモデリングでは、このきめ細かい表現が注意の過負荷を引き起こす。
本稿では,歴史的項目を可変長のセマンティック・サブワードとして表現するセマンティック・サブワード・トークン化(SST)を提案する。
論文 参考訳（メタデータ） (2026-08-24T02:42:51Z) - GRID: Grammar-Railed Decoding for Enterprise SQL Generation [0.0]
文法制約付き復号エンジンGRID(Grammar-Railed Decoding)を提案する。
LALR(1)自体を実行可能なオラクルとして使用する。
4つの保証(音量、完全性、終了、およびほぼ一定に近いコスト)は明示的な前提条件で記述される。
論文 参考訳（メタデータ） (2026-07-11T19:25:23Z) - Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - PairAlign: A Framework for Sequence Tokenization via Self-Alignment with Applications to Audio Tokenization [8.126475706520063]
PairAlignは、シーケンスレベルの自己アライメントによるコンパクトなオーディオトークン化のためのフレームワークである。
広義の語彙を用いたコンパクトで非退化配列を学習する。
編集距離検索を保存し、アーカイブトークン数を55%削減する。
論文 参考訳（メタデータ） (2026-05-07T17:11:22Z) - Attention Meets Reachability: Structural Equivalence and Efficiency in Grammar-Constrained LLM Decoding [0.2864713389096699]
我々は、文脈自由文法(CFG)からコンパイルされたプッシュダウンシステム上での自己回帰的次トーケン分布と到達可能性との結合として文法制約デコーディング(GCD)を研究する。
文法の復号コスト等価クラスを定義し、有界書き直し科における最小SAC代表者の存在を証明した。
論文 参考訳（メタデータ） (2026-03-04T11:49:55Z) - StrTune: Data Dependence-based Code Slicing for Binary Similarity Detection with Fine-tuned Representation [5.41477941455399]
BCSDは、悪意のあるコードスニペットの識別や、コードパターンの比較によるバイナリパッチ解析といったバイナリタスクに対処することができる。
バイナリは異なるコンパイル構成でコンパイルされるため、既存のアプローチはバイナリの類似性を比較する際にも注目すべき制限に直面している。
データ依存に基づいてバイナリコードをスライスし,スライスレベルの微調整を行うStrTuneを提案する。
論文 参考訳（メタデータ） (2024-11-19T12:20:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。