論文の概要: Distillation of Discrete Diffusion by Exact Conditional Distribution Matching

• arxiv url: http://arxiv.org/abs/2512.12889v1
• Date: Mon, 15 Dec 2025 00:16:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.485313
• Title: Distillation of Discrete Diffusion by Exact Conditional Distribution Matching
• Title（参考訳）: 厳密な条件分布マッチングによる離散拡散の蒸留
• Authors: Yansong Gao, Yu Sun,
• Abstract要約: 本稿では, 空調分布マッチングに基づく簡易かつ原理的な蒸留法を提案する。 我々は,この構造を利用して,事前学習した教師と低NFE学生の条件分布を直接一致させる蒸留目標を定義する。
• 参考スコア（独自算出の注目度）: 9.460409527892345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion models (DDMs) are a powerful class of generative models for categorical data, but they typically require many function evaluations for a single sample, making inference expensive. Existing acceleration methods either rely on approximate simulators, such as $τ$-leaping, or on distillation schemes that train new student models and auxiliary networks with proxy objectives. We propose a simple and principled distillation alternative based on \emph{conditional distribution matching}. Our key observation is that the reverse conditional distribution of clean data given a noisy state, $p_{0\mid t}(x_0 \mid x_t)$, admits a Markov decomposition through intermediate times and can be recovered from marginal density ratios and the known forward CTMC kernel. We exploit this structure to define distillation objectives that directly match conditional distributions between a pre-trained teacher and a low-NFE student, both for one-step and few-step samplers.
• Abstract（参考訳）: 離散拡散モデル(DDM)は分類データの強力な生成モデルであるが、通常は単一のサンプルに対して多くの関数評価を必要とするため、推論は高価である。 既存の加速法は、$τ$-leapingのような近似シミュレータや、新しい学生モデルや代理目的の補助ネットワークを訓練する蒸留スキームに依存している。 本稿では, 簡単な蒸留法を提案する。 我々のキーとなる観察は、ノイズ状態が与えられたクリーンデータの逆条件分布である$p_{0\mid t}(x_0 \mid x_t)$は、中間時間を通してマルコフ分解を認め、境界密度比と既知の前方CTMCカーネルから復元できるということである。 この構造を利用して, 予習教師と低NFE学生の条件分布を直接一致させる蒸留目標を定義する。

関連論文リスト

• Score Distillation of Flow Matching Models [67.86066177182046]
  我々は、Score Identity Distillation (SiD) を事前訓練されたテキスト対画像フローマッチングモデルに拡張する。 SiDは、データフリーとデータアシストの両方の設定で、これらのモデルですぐに使える。 これは、スコア蒸留がテキストと画像のフローマッチングモデルに広く適用されるという最初の体系的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-09-29T17:45:48Z)
• Minimax Optimality of the Probability Flow ODE for Diffusion Models [8.15094483029656]
  この研究は、決定論的ODEベースのサンプリングのための最初のエンドツーエンド理論フレームワークを開発する。 L2$のスコア誤差と関連する平均ジャコビアン誤差の両方を同時に制御するスムーズな正規化スコア推定器を提案する。 得られたサンプルは全変動距離, 変調対数係数において最小値が得られることを示す。
  論文  参考訳（メタデータ） (2025-03-12T17:51:29Z)
• Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
  事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-04T17:46:51Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。