論文の概要: Distillation of Discrete Diffusion by Exact Conditional Distribution Matching

• arxiv url: http://arxiv.org/abs/2512.12889v1
• Date: Mon, 15 Dec 2025 00:16:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.485313
• Title: Distillation of Discrete Diffusion by Exact Conditional Distribution Matching
• Title（参考訳）: 厳密な条件分布マッチングによる離散拡散の蒸留
• Authors: Yansong Gao, Yu Sun,
• Abstract要約: 本稿では, 空調分布マッチングに基づく簡易かつ原理的な蒸留法を提案する。 我々は,この構造を利用して,事前学習した教師と低NFE学生の条件分布を直接一致させる蒸留目標を定義する。
• 参考スコア（独自算出の注目度）: 9.460409527892345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion models (DDMs) are a powerful class of generative models for categorical data, but they typically require many function evaluations for a single sample, making inference expensive. Existing acceleration methods either rely on approximate simulators, such as $τ$-leaping, or on distillation schemes that train new student models and auxiliary networks with proxy objectives. We propose a simple and principled distillation alternative based on \emph{conditional distribution matching}. Our key observation is that the reverse conditional distribution of clean data given a noisy state, $p_{0\mid t}(x_0 \mid x_t)$, admits a Markov decomposition through intermediate times and can be recovered from marginal density ratios and the known forward CTMC kernel. We exploit this structure to define distillation objectives that directly match conditional distributions between a pre-trained teacher and a low-NFE student, both for one-step and few-step samplers.
• Abstract（参考訳）: 離散拡散モデル(DDM)は分類データの強力な生成モデルであるが、通常は単一のサンプルに対して多くの関数評価を必要とするため、推論は高価である。 既存の加速法は、$τ$-leapingのような近似シミュレータや、新しい学生モデルや代理目的の補助ネットワークを訓練する蒸留スキームに依存している。 本稿では, 簡単な蒸留法を提案する。 我々のキーとなる観察は、ノイズ状態が与えられたクリーンデータの逆条件分布である$p_{0\mid t}(x_0 \mid x_t)$は、中間時間を通してマルコフ分解を認め、境界密度比と既知の前方CTMCカーネルから復元できるということである。 この構造を利用して, 予習教師と低NFE学生の条件分布を直接一致させる蒸留目標を定義する。

関連論文リスト

• Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
  連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。 一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。 離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
  論文  参考訳（メタデータ） (2026-02-16T18:48:17Z)
• Score Distillation of Flow Matching Models [67.86066177182046]
  我々は、Score Identity Distillation (SiD) を事前訓練されたテキスト対画像フローマッチングモデルに拡張する。 SiDは、データフリーとデータアシストの両方の設定で、これらのモデルですぐに使える。 これは、スコア蒸留がテキストと画像のフローマッチングモデルに広く適用されるという最初の体系的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-09-29T17:45:48Z)
• Score-based Membership Inference on Diffusion Models [3.742113529511043]
  拡散モデルに対するメンバーシップ推論攻撃(MIA)は、プライバシーの懸念が強まっている。 本稿では,拡散モデルが近似することを学習する予測ノイズベクトルに着目し,スコアベースMIAの理論的,実証的研究を行う。 提案手法は, トレーニングセットに近づき, メンバシップが明らかになるような, 近隣のトレーニングサンプルのカーネル重み付き局所平均に対して, 期待されたデノイザ出力が向けられることを示す。
  論文  参考訳（メタデータ） (2025-09-29T16:28:55Z)
• Minimax Optimality of the Probability Flow ODE for Diffusion Models [8.15094483029656]
  この研究は、決定論的ODEベースのサンプリングのための最初のエンドツーエンド理論フレームワークを開発する。 L2$のスコア誤差と関連する平均ジャコビアン誤差の両方を同時に制御するスムーズな正規化スコア推定器を提案する。 得られたサンプルは全変動距離, 変調対数係数において最小値が得られることを示す。
  論文  参考訳（メタデータ） (2025-03-12T17:51:29Z)
• Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
  事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-04T17:46:51Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。