論文の概要: Learnable Sampler Distillation for Discrete Diffusion Models
- arxiv url: http://arxiv.org/abs/2509.19962v1
- Date: Wed, 24 Sep 2025 10:16:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-25 20:53:19.77222
- Title: Learnable Sampler Distillation for Discrete Diffusion Models
- Title（参考訳）: 離散拡散モデルのための学習可能なサンプリング器蒸留法
- Authors: Feiyang Fu, Tongxian Guo, Zhaoqiang Liu,
- Abstract要約: 離散拡散モデルのための高速かつ高忠実なサンプリング器を訓練するための新しい手法である学習可能なサンプリング器蒸留法(LSD)を提案する。
提案手法は既存のDDM試料より優れており,サンプリング精度が著しく向上し,サンプリング工程も大幅に減少した。
- 参考スコア（独自算出の注目度）: 10.278761444472186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Discrete diffusion models (DDMs) have shown powerful generation ability for discrete data modalities like text and molecules. However, their practical application is hindered by inefficient sampling, requiring a large number of sampling steps. Accelerating DDMs by using larger step sizes typically introduces significant problems in generation quality, as it amplifies the impact of both the compounding decoding error due to factorized predictions and discretization error from numerical approximations, leading to a significant decrease in sampling quality. To address these challenges, we propose learnable sampler distillation (LSD), a novel approach to train fast and high-fidelity samplers for DDMs. LSD employs a distillation approach where a student sampler with a few steps learns to align its intermediate score trajectory with that of a high-quality teacher sampler with numerous steps. This alignment is achieved by optimizing learnable sampler coefficients that adaptively adjust sampling dynamics. Additionally, we further propose LSD+, which also learns time schedules that allocate steps non-uniformly. Experiments across text generation, image generation, and synthetic tasks demonstrate that our proposed approaches outperform existing samplers for DDMs, achieving substantially higher sampling quality with significantly fewer sampling steps. Our code is available at \href{https://github.com/feiyangfu/LSD}{https://github.com/feiyangfu/LSD}.
- Abstract（参考訳）: 離散拡散モデル(DDM)は、テキストや分子のような離散データモダリティに対して強力な生成能力を示す。
しかし、その実用的応用は非効率なサンプリングによって妨げられ、多くのサンプリングステップが必要になる。
ステップサイズを大きくすることでDDMを高速化することは、分解予測による合成復号誤差と数値近似による離散化誤差の両方の影響を増幅し、サンプリング品質が著しく低下するので、生成品質に重大な問題を引き起こすのが典型的である。
これらの課題に対処するため,我々は,DDMのための高速かつ高忠実なサンプリング器を訓練するための新しいアプローチである,学習可能なサンプリング器蒸留法(LSD)を提案する。
LSDは、数ステップの学生サンプリング機が中間スコア軌跡と高品質の教師サンプリング機とを多数のステップで整合させる蒸留方式を採用する。
このアライメントは、サンプリングダイナミクスを適応的に調整する学習可能なサンプリング係数を最適化することで達成される。
さらに,不均一にステップを割り当てる時間スケジュールも学習するLSD+を提案する。
テキスト生成, 画像生成, 合成タスクにおける実験により, 提案手法が既存のDDMサンプルよりも優れており, サンプリング精度が著しく向上し, サンプリングステップも大幅に低減された。
我々のコードは \href{https://github.com/feiyangfu/LSD}{https://github.com/feiyangfu/LSD} で入手できる。
関連論文リスト
- Adaptive Destruction Processes for Diffusion Samplers [12.446080077998834]
本稿では,拡散サンプリング装置におけるトレーニング可能な破壊プロセスの課題とメリットについて考察する。
ステップ数に制限がある場合、生成過程と破壊過程の両方を訓練することで、より高速な収束とサンプリング品質の向上が期待できる。
論文 参考訳（メタデータ） (2025-06-02T11:07:27Z) - Quantizing Diffusion Models from a Sampling-Aware Perspective [43.95032520555463]
本稿では,混合次軌道アライメント手法を考案したサンプリング対応量子化手法を提案する。
複数のデータセットにまたがるスパースステップ高速サンプリング実験により,本手法は高速サンプリング器の高速収束特性を保っていることが示された。
論文 参考訳（メタデータ） (2025-05-04T20:50:44Z) - Single-Step Consistent Diffusion Samplers [8.758218443992467]
既存のサンプリングアルゴリズムは通常、高品質なサンプルを作成するために多くの反復的なステップを必要とする。
単一ステップで高忠実度サンプルを生成するために設計された新しいサンプルクラスである,一貫した拡散サンプリングを導入している。
提案手法は,従来の拡散サンプリング装置で要求されるネットワーク評価の1%以下を用いて,高忠実度サンプルが得られることを示す。
論文 参考訳（メタデータ） (2025-02-11T14:25:52Z) - Distributional Diffusion Models with Scoring Rules [83.38210785728994]
拡散モデルは高品質な合成データを生成する。
高品質な出力を生成するには、多くの離散化ステップが必要です。
クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
論文 参考訳（メタデータ） (2025-02-04T16:59:03Z) - Boosting Diffusion Models with an Adaptive Momentum Sampler [21.88226514633627]
本稿では,広く使用されているAdamサンプルから着想を得た新しいDPM用リバースサンプルについて述べる。
提案手法は,事前学習した拡散モデルに容易に適用できる。
初期段階から更新方向を暗黙的に再利用することにより,提案するサンプルは,高レベルのセマンティクスと低レベルの詳細とのバランスを良くする。
論文 参考訳（メタデータ） (2023-08-23T06:22:02Z) - ScoreMix: A Scalable Augmentation Strategy for Training GANs with
Limited Data [93.06336507035486]
GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。
ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
論文 参考訳（メタデータ） (2022-10-27T02:55:15Z) - Reducing Training Sample Memorization in GANs by Training with
Memorization Rejection [80.0916819303573]
本稿では,トレーニング中のトレーニングサンプルのほぼ重複する生成サンプルを拒否する学習手法であるリジェクション記憶法を提案する。
我々のスキームは単純で汎用的であり、任意のGANアーキテクチャに直接適用することができる。
論文 参考訳（メタデータ） (2022-10-21T20:17:50Z) - ReSmooth: Detecting and Utilizing OOD Samples when Training with Data
Augmentation [57.38418881020046]
最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。
多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。
ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
論文 参考訳（メタデータ） (2022-05-25T09:29:27Z) - Learning Fast Samplers for Diffusion Models by Differentiating Through
Sample Quality [44.37533757879762]
差分拡散サンプリングサーチ(DDSS)は,任意の事前学習拡散モデルに対して高速サンプリングを最適化する手法である。
また、拡散モデルのためのフレキシブルな非マルコフ型サンプルモデルのファミリーである一般化ガウス拡散モデル(GGDM)を提示する。
本手法は, 微調整や再学習の必要なく, 事前学習した拡散モデルと互換性がある。
論文 参考訳（メタデータ） (2022-02-11T18:53:18Z) - Denoising Diffusion Implicit Models [117.03720513930335]
DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。
DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
論文 参考訳（メタデータ） (2020-10-06T06:15:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。