論文の概要: Twist, Don't Tilt: Trajectory-Exact Constrained Decoding for Masked Diffusion Models

• arxiv url: http://arxiv.org/abs/2609.35609v1
• Date: Mon, 28 Sep 2026 16:54:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:23:09.12335
• Title: Twist, Don't Tilt: Trajectory-Exact Constrained Decoding for Masked Diffusion Models
• Title（参考訳）: ツイスト, Don't Tilt: Masked Diffusion Model のトラジェクティブ-exact Constrained Decoding
• Abstract要約: 本稿では,自動制御型モンテカルロデコーダであるTWISTERを紹介した。 正規言語制約に対して、Feynman-Kac補正は正確に計算可能であることを示す。 結果のFeynman-Kacモデルが制約満足度を条件とした不偏形Doob h変換経路法を対象とすることを示す。
• 参考スコア（独自算出の注目度）: 41.6303675143411
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constrained decoding for Masked Diffusion Language Models (MDLMs) aims to ensure that generated outputs satisfy a specified structure or syntax constraint. MDLMs generate outputs by repeatedly unmasking masked positions present in their current state. Recent strategies for constrained decoding constrain the model's per-step mean-field posterior (which factorizes over masked positions) by enforcing the desired constraint with an automaton. The resulting chain-structured factor graph allows exact constrained sampling via dynamic programming. However, despite each draw being exact and constraint-satisfying, we prove that their composition, in general, tilts away from the model's relative probabilities over valid trajectories, thus leading to trajectory bias. We derive an exact expression for this bias as a product of ratios measuring how valid continuation mass changes when the denoiser is reconditioned, and characterize when the bias vanishes. We then correct the bias by introducing TWISTER, the first automaton-twisted Sequential Monte Carlo decoder for MDLMs, using the step-exact decoder as the proposal. We show that for regular language constraints, the Feynman-Kac correction is exactly computable, with the twists obtained efficiently using quantities pre-computed for step-exact sampling. We prove that the resulting Feynman-Kac model targets the unbiased Doob h-transformed path law conditioned on constraint satisfaction.
• Abstract（参考訳）: Masked Diffusion Language Models (MDLM) の制約付きデコーディングは、生成された出力が特定の構造や構文制約を満たすことを保証することを目的としている。 MDLMは、現在の状態にあるマスキングを繰り返すことで出力を生成する。 制約付き復号化の最近の戦略は、所望の制約をオートマトンで強制することにより、モデルのステップごとの平均場後部(マスクされた位置を分解する)を制約している。 結果として得られる連鎖構造因子グラフは、動的プログラミングによる厳密な制約付きサンプリングを可能にする。 しかし、それぞれのドローが正確かつ制約に満足しているにもかかわらず、それらの構成が一般に、モデルの相対確率から有効な軌跡に傾き、結果として軌道バイアスが生じることを証明している。 このバイアスの正確な表現は、デノイザがリコンディションされたときに有効な継続質量がどのように変化するかを測る比率の積として導き出され、バイアスが消滅した時に特徴づけられる。 次に, ステップエクサクティヴデコーダを提案手法として用いた, MDLM用第1のオートマトンスイッチ型シークエンシャルモンテカルロデコーダであるTWISTERを導入することにより, バイアスを補正する。 通常の言語制約に対して、Fynman-Kac補正は正確に計算可能であり、ステップエクササイズサンプリングのために事前に計算された量を用いて効率よく得られるツイストが示される。 結果のFeynman-Kacモデルが制約満足度を条件とした不偏形Doob h変換経路法を対象とすることを示す。

関連論文リスト

• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Why Self-Supervised Encoders Want to Be Normal [0.0]
  自己教師型エンコーダにおける正規分布の優先性は,インフォメーション・ボトルネック(IB)の原理の直接的な帰結であることを示す。 この枠組みでは、潜在表現は、類似の予測分布を共有する入力のソフトクラスタリングに対応することを示す。 この観点は、広く使われている正規化スキームに対する原則的な説明として、教師付きおよび教師なしの目的を広範囲に統一する。
  論文  参考訳（メタデータ） (2026-04-30T11:33:05Z)
• Hidden Biases in Conditioning Autoregressive Models [0.0]
  大規模言語と音楽モデルは、制約付き世代にますます使われている。 これらのシステムは、しばしば顕著に機能するが、誘導手順は通常、基礎となる自己回帰モデルの正確な条件付けではない。 自己回帰モデルに対するいくつかの正確な推論タスクを定式化する。
  論文  参考訳（メタデータ） (2026-04-09T06:12:16Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Constrained Adaptive Rejection Sampling [27.579645342312674]
  言語モデル(LM)は、生成した出力が厳密な意味的制約や構文的制約を満たす必要があるアプリケーションでますます使われている。 既存の制約付き生成へのアプローチは、スペクトルに沿って低下する: 欲求的制約付き復号法は、復号時の有効性を強制するが、LMの分布を歪ませる。 本稿では、分布歪みを伴わないRSの試料効率を厳密に改善するアプローチである、適応型サンプリング(CARS)を提案する。
  論文  参考訳（メタデータ） (2025-10-02T11:17:26Z)
• Autoregressive Speech Synthesis without Vector Quantization [135.4776759536272]
  We present MELLE, a novel continuous-valued token based language modeling approach for text-to-speech synthesis (TTS)。 MELLEはテキスト条件から直接連続メル-スペクトログラムフレームを自動回帰生成する。 MELLEは、サンプリングベクトル量子化符号の固有の欠陥を回避し、ロバスト性問題を緩和する。
  論文  参考訳（メタデータ） (2024-07-11T14:36:53Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Variance Constrained Autoencoding [0.0]
  エンコーダの場合、同時に分布制約を強制し、出力歪みを最小化しようとすると、生成的および再構成的品質が低下することを示す。 本稿では,分散制約のみを適用した分散制約付きオートエンコーダ(VCAE)を提案する。 実験の結果,VCAEは,MNISTとCelebAの再構成および生成品質において,ワッサースタインオートエンコーダと変分オートエンコーダを改良することがわかった。
  論文  参考訳（メタデータ） (2020-05-08T00:50:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。