論文の概要: Score Mismatch and Set-Constrained Sampling in Zero-Shot Conditional Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2610.21061v1
• Date: Thu, 15 Oct 2026 01:05:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.115026
• Title: Score Mismatch and Set-Constrained Sampling in Zero-Shot Conditional Discrete Diffusion
• Title（参考訳）: ゼロショット条件離散拡散におけるスコアミスマッチとセット制約サンプリング
• Abstract要約: スコアミスマッチした離散拡散モデルに対する最初の理論的解析を行う。 このようなミスマッチによる追加バイアスを明確に識別する一般KL発散上限を導出する。 代入確率は吸収率で無条件スコアで正確に表現できることを示す。
• 参考スコア（独自算出の注目度）: 66.0716790920952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models have become a powerful framework for modeling complex discrete distributions across a range of applications. While theoretical convergence guarantees depend on consistency between the target and training distributions, such a case rarely holds in practice, making score mismatch a central challenge in discrete diffusion sampling. This is particularly relevant to zero-shot conditional generation, where a model trained on the unconditional distribution is directly reused at inference time to sample from a conditional target distribution. In this paper, we provide the first theoretical analysis for score-mismatched discrete diffusion models and derive a general KL divergence upper bound that clearly identifies the additional bias caused by such a mismatch. Our analysis covers partial-observation constraints, including text infilling, sentence completion, and more general coordinatewise set constraints. Specifically, we analyze the classical Conditional SEDD sampler and show that it can incur a bias term that scales with the dimension, vocabulary size, and compatibility. Based on this analysis, we propose a Randomized Hard Clamping (RHC) sampler for coordinatewise set constraints. We show that the assignment probabilities can be expressed exactly by the unconditional scores with absorbing rate. Finally, numerical and real-data experiments demonstrate the effectiveness of the proposed RHC sampler.
• Abstract（参考訳）: 離散拡散モデルは、様々なアプリケーションにまたがる複雑な離散分布をモデル化するための強力なフレームワークとなっている。 理論的収束保証は目標分布と訓練分布の整合性に依存するが、そのようなケースが実際に成り立つことは稀であり、離散拡散サンプリングにおいてスコアミスマッチが中心的な課題となる。 これは特にゼロショット条件生成に関係しており、非条件分布で訓練されたモデルは推論時に直接再利用され、条件目標分布からサンプリングされる。 本稿では、スコアミスマッチした離散拡散モデルに対する最初の理論的解析を行い、そのようなミスマッチによる追加バイアスを明確に識別する一般的なKL偏差上限を導出する。 本分析では,テキストの埋め合わせ,文の完全化,コーディネート的に設定された制約など,部分的観測制約を網羅する。 具体的には、古典的条件付きSEDDサンプリングを解析し、寸法、語彙サイズ、互換性に応じてスケールするバイアス項を発生させることができることを示す。 そこで本研究では,Randomized Hard Clamping (RHC) サンプルを座標的に設定した制約に対して提案する。 代入確率は吸収率で無条件スコアで正確に表現できることを示す。 最後に,提案手法の有効性を示す数値実験と実データ実験を行った。

関連論文リスト

• Conditional Kernel Stein Discrepancy [3.294420397461204]
  カーネルの相違(KSD)は分布を比較する汎用的なツールである。 条件設定に無条件のKSDを持ち上げることができるフレームワークを提案する。 レベル、パワー、ランタイムに関する我々の実験は、これらのドメインでのテストの可能性を実証しています。
  論文  参考訳（メタデータ） (2026-10-08T12:41:08Z)
• From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models [58.02657021435213]
  我々は、Gibs-Accelerated Discrete Diffusion (GADD)と呼ばれる離散拡散モデルのための新しいGibsベースの修正器を提案する。 我々はGADDが$mathcalO(mathrmpolylog (varepsilon-1)$の総合的なサンプリング複雑性を達成し、均一レートの離散拡散モデルに対する拡散に基づくサンプリング者にとって最初のレートとなることを示す。
  論文  参考訳（メタデータ） (2026-05-26T17:52:28Z)
• Minimax Optimality of the Probability Flow ODE for Diffusion Models [8.15094483029656]
  この研究は、決定論的ODEベースのサンプリングのための最初のエンドツーエンド理論フレームワークを開発する。 L2$のスコア誤差と関連する平均ジャコビアン誤差の両方を同時に制御するスムーズな正規化スコア推定器を提案する。 得られたサンプルは全変動距離, 変調対数係数において最小値が得られることを示す。
  論文  参考訳（メタデータ） (2025-03-12T17:51:29Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• KL Convergence Guarantees for Score diffusion models under minimal data assumptions [9.618473763561418]
  注目すべき課題は、包括的な定量的結果の欠如という形で続いている。 この記事では、Ornstein-Uhlenbeck半群とその運動論的対応から生じる一定のステップサイズを持つスコア拡散モデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-08-23T16:31:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。