Fugu-MT 論文翻訳(概要): Score-of-Mixture Training: Training One-Step Generative Models Made Simple

論文の概要: Score-of-Mixture Training: Training One-Step Generative Models Made Simple

arxiv url: http://arxiv.org/abs/2502.09609v1
Date: Thu, 13 Feb 2025 18:57:20 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-14 13:49:42.890123
Title: Score-of-Mixture Training: Training One-Step Generative Models Made Simple
Title（参考訳）: Score-of-Mixture Training:シンプルに作られたワンステップ生成モデルのトレーニング
Authors: Tejas Jayashankar, J. Jon Ryu, Gregory Wornell,
Abstract要約: 本稿では,一段階生成モデルの学習のための新しいフレームワークであるSMTを提案する。 SMTは、複数のノイズレベルにわたる実検体と偽検体の混合分布のスコアを推定する。提案手法は,Score-of-Mixture Distillation (SMD)と呼ばれる事前学習拡散モデルを用いて,スクラッチ(SMT)と蒸留の両方のトレーニングを支援する。
参考スコア（独自算出の注目度）: 3.347388046213879
License:
Abstract: We propose Score-of-Mixture Training (SMT), a novel framework for training one-step generative models by minimizing a class of divergences called the $\alpha$-skew Jensen-Shannon divergence. At its core, SMT estimates the score of mixture distributions between real and fake samples across multiple noise levels. Similar to consistency models, our approach supports both training from scratch (SMT) and distillation using a pretrained diffusion model, which we call Score-of-Mixture Distillation (SMD). It is simple to implement, requires minimal hyperparameter tuning, and ensures stable training. Experiments on CIFAR-10 and ImageNet 64x64 show that SMT/SMD are competitive with and can even outperform existing methods.
Abstract（参考訳）: 本稿では,Score-of-Mixture Training(SMT)を提案する。これは1段階生成モデルの学習のための新しいフレームワークで,$\alpha$-skew Jensen-Shannonの発散を最小化する。中心となるSMTは、複数のノイズレベルにわたる実と偽のサンプルの混合分布のスコアを推定する。整合性モデルと同様に,本手法はスクラッチ (SMT) と,Score-of-Mixture Distillation (SMD) と呼ばれる事前学習拡散モデルを用いた蒸留の両方をサポートする。実装は簡単で、最小限のハイパーパラメータチューニングを必要とし、安定したトレーニングを保証する。 CIFAR-10 と ImageNet 64x64 の実験では、SMT/SMD は既存の手法よりも優れており、性能も優れていた。

関連論文リスト

Stable Consistency Tuning: Understanding and Improving Consistency Models [40.2712218203989]
拡散モデルは、より優れた生成品質を達成するが、復調の反復的な性質により、生成速度が遅くなる。新しいジェネレーティブファミリーである一貫性モデルは、非常に高速なサンプリングで競争性能を達成する。本稿では,拡散モデルの分解過程をマルコフ決定過程(MDP)としてモデル化し,時間差分学習(TD)による値推定としてフレーミング一貫性モデルのトレーニングを提案する。
論文参考訳（メタデータ） (2024-10-24T17:55:52Z)
Decouple-Then-Merge: Towards Better Training for Diffusion Models [45.89372687373466]
拡散モデルは、ノイズ破損の各ステップを反転させる一連のモデルを学ぶことで訓練される。この研究はDeouple-then-Merge(DeMe)フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-09T08:19:25Z)
EM Distillation for One-step Diffusion Models [65.57766773137068]
最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
論文参考訳（メタデータ） (2024-05-27T05:55:22Z)
Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。まず、回帰損失と高価なデータセット構築の必要性を排除します。第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
論文参考訳（メタデータ） (2024-05-23T17:59:49Z)
Directly Denoising Diffusion Models [6.109141407163027]
数ステップのサンプリングで現実的な画像を生成するための単純で汎用的なアプローチであるDDDM(Directly Denoising Diffusion Model)を提案する。本モデルでは, CIFAR-10のFIDスコアを1段階, 2段階のサンプリングで2.57と2.33とし, GANと蒸留モデルから得られたFIDスコアをそれぞれ上回った。 ImageNet 64x64の場合、当社のアプローチは主要なモデルに対する競争相手として機能します。
論文参考訳（メタデータ） (2024-05-22T11:20:32Z)
One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
論文参考訳（メタデータ） (2023-11-27T12:02:42Z)
Improved Techniques for Training Consistency Models [13.475711217989975]
本稿では, 蒸留なしでデータから直接一貫性モデルを学習する, 整合性トレーニングのための改良手法を提案する。整合性学習目的のための対数正規雑音スケジュールを提案し、トレーニングの繰り返し回数毎に全離散化ステップを2倍にすることを提案する。これらの修正により、一貫性モデルは1回のサンプリングステップでCIFAR-10で2.51と3.25のFIDスコア、ImageNetで64ドルをそれぞれ達成できる。
論文参考訳（メタデータ） (2023-10-22T05:33:38Z)
A Data Cartography based MixUp for Pre-trained Language Models [47.90235939359225]
MixUpは、トレーニング中にランダムなトレーニングサンプルとラベルを組み合わせて追加のサンプルを生成するデータ拡張戦略である。トレーニングダイナミクスを活用した新しいMixUp戦略であるTDMixUpを提案する。提案手法は, トレーニングデータの少ないサブセットと強いベースラインとを比較した場合, また, NLPタスクの領域内および領域外の両方で, トレーニング済み言語モデルであるBERTのキャリブレーション誤差が低いことを実証的に検証した。
論文参考訳（メタデータ） (2022-05-06T17:59:19Z)
Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文参考訳（メタデータ） (2022-04-13T12:43:12Z)
Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。本手法は画像内情報と画像間情報の両方を利用する。トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
論文参考訳（メタデータ） (2021-04-01T08:09:26Z)
Denoising Diffusion Implicit Models [117.03720513930335]
DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
論文参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。