論文の概要: Catch-Up Distillation: You Only Need to Train Once for Accelerating Sampling

• arxiv url: http://arxiv.org/abs/2305.10769v2
• Date: Sun, 21 May 2023 09:45:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 11:22:15.387695
• Title: Catch-Up Distillation: You Only Need to Train Once for Accelerating Sampling
• Title（参考訳）: Catch-Up Distillation: サンプリングの高速化のために一度だけトレーニングする
• Authors: Shitong Shao, Xu Dai, Shouyi Yin, Lujun Li, Huanran Chen, Yang Hu
• Abstract要約: 本稿では, 速度推定モデルの現在のモーメント出力を前回のモーメント出力と一致させる「キャッチアップ蒸留(CUD)」を提案する。 具体的には、CUDは、元の正規微分方程式(ODE)訓練目標を調整し、現在のモーメント出力を、基底真理ラベルと前のモーメント出力の両方に整合させる。 CUDの有効性を示すため、我々はCIFAR-10、MNIST、ImageNet-64で徹底的なアブレーションと比較実験を行った。
• 参考スコア（独自算出の注目度）: 11.272881985569326
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Diffusion Probability Models (DPMs) have made impressive advancements in various machine learning domains. However, achieving high-quality synthetic samples typically involves performing a large number of sampling steps, which impedes the possibility of real-time sample synthesis. Traditional accelerated sampling algorithms via knowledge distillation rely on pre-trained model weights and discrete time step scenarios, necessitating additional training sessions to achieve their goals. To address these issues, we propose the Catch-Up Distillation (CUD), which encourages the current moment output of the velocity estimation model ``catch up'' with its previous moment output. Specifically, CUD adjusts the original Ordinary Differential Equation (ODE) training objective to align the current moment output with both the ground truth label and the previous moment output, utilizing Runge-Kutta-based multi-step alignment distillation for precise ODE estimation while preventing asynchronous updates. Furthermore, we investigate the design space for CUDs under continuous time-step scenarios and analyze how to determine the suitable strategies. To demonstrate CUD's effectiveness, we conduct thorough ablation and comparison experiments on CIFAR-10, MNIST, and ImageNet-64. On CIFAR-10, we obtain a FID of 2.80 by sampling in 15 steps under one-session training and the new state-of-the-art FID of 3.37 by sampling in one step with additional training. This latter result necessitated only 62w iterations with a batch size of 128, in contrast to Consistency Distillation, which demanded 210w iterations with a larger batch size of 256. Our code is released at https://anonymous.4open.science/r/Catch-Up-Distillation-E31F.
• Abstract（参考訳）: Diffusion Probability Models (DPM) は、さまざまな機械学習領域で目覚ましい進歩を遂げている。 しかし、高品質な合成サンプルを達成するには、通常、多数のサンプリングステップを実行する必要がある。 知識蒸留による従来の高速化サンプリングアルゴリズムは、事前訓練されたモデル重量と離散的な時間ステップシナリオに依存し、目標を達成するために追加のトレーニングセッションを必要とする。 これらの問題に対処するため、我々は、速度推定モデル ``catch up' の現在のモーメント出力を前回のモーメント出力で促進するCatch-Up Distillation (CUD)を提案する。 具体的には、元の常微分方程式(ode)トレーニング目的を調整して、現在のモーメント出力をグランド・真実ラベルと前回のモーメント出力の両方に調整し、ランゲ・クッタベースの多段階アライメント蒸留を用いて、非同期更新を防止しつつ正確なode推定を行う。 さらに,連続時間ステップシナリオにおけるcudの設計空間を調査し,適切な戦略を決定する方法について分析する。 cudの有効性を示すために,cifar-10,mnist,imagenet-64の比較実験を行った。 CIFAR-10では、ワンセッショントレーニングの15ステップでサンプリングした2.80のFIDと、追加トレーニングの1ステップでサンプリングした3.37の新たな最先端FIDを得る。 後者の結果は128のバッチサイズで62wのイテレーションしか必要としなかったが、Consistency Distillationは256のバッチサイズで210wのイテレーションを必要とした。 私たちのコードはhttps://anonymous.4open.science/r/Catch-Up-Distillation-E31Fで公開されています。

関連論文リスト

• Directly Denoising Diffusion Models [6.109141407163027]
  数ステップのサンプリングで現実的な画像を生成するための単純で汎用的なアプローチであるDDDM(Directly Denoising Diffusion Model)を提案する。 本モデルでは, CIFAR-10のFIDスコアを1段階, 2段階のサンプリングで2.57と2.33とし, GANと蒸留モデルから得られたFIDスコアをそれぞれ上回った。 ImageNet 64x64の場合、当社のアプローチは主要なモデルに対する競争相手として機能します。
  論文  参考訳（メタデータ） (2024-05-22T11:20:32Z)
• SCott: Accelerating Diffusion Models with Stochastic Consistency Distillation [54.31974179325654]
  本稿では,テキスト・画像の高速生成を実現するために,SCott(Consistency Distillation)を提案する。 SCottは、事前訓練された教師モデルの通常の微分方程式解法に基づくサンプリングプロセスを学生に蒸留する。 MSCOCO-2017 5Kデータセットと安定拡散V1.5の教師は、SCottが22.1のFID(Frechet Inceptio Distance)を達成し、1ステップのInstaFlowの23.4を上回り、4ステップのUFOGenと一致する。
  論文  参考訳（メタデータ） (2024-03-03T13:08:32Z)
• Towards More Accurate Diffusion Model Acceleration with A Timestep Aligner [84.97253871387028]
  数千のデノナイジングステップを用いて画像を生成するために定式化された拡散モデルは通常、遅い推論速度に悩まされる。 最小限のコストで特定の区間に対するより正確な積分方向を見つけるのに役立つ時間ステップ整合器を提案する。 実験により,我々のプラグイン設計を効率的に訓練し,様々な最先端加速度法の推論性能を向上できることが示された。
  論文  参考訳（メタデータ） (2023-10-14T02:19:07Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• ProDiff: Progressive Fast Diffusion Model For High-Quality Text-to-Speech [63.780196620966905]
  本稿では,高品質テキスト合成のためのプログレッシブ高速拡散モデルであるProDiffを提案する。 ProDiffはクリーンデータを直接予測することでデノナイジングモデルをパラメータ化し、サンプリングを高速化する際の品質劣化を回避する。 評価の結果,高忠実度メル-スペクトログラムの合成にProDiffは2回しか要しないことがわかった。 ProDiffは1つのNVIDIA 2080Ti GPU上で、サンプリング速度をリアルタイムより24倍高速にする。
  論文  参考訳（メタデータ） (2022-07-13T17:45:43Z)
• Progressive Distillation for Fast Sampling of Diffusion Models [17.355749359987648]
  そこで本研究では, 学習した決定論的拡散サンプリング器を, 半分のサンプリングステップを要した新しい拡散モデルに, 多くのステップを用いて蒸留する方法を提案する。 CIFAR-10、ImageNet、LSUNなどの標準画像生成ベンチマークでは、最先端のサンプルが最大8192ステップで、知覚品質を損なうことなく、最大4ステップのモデルに精算することができる。
  論文  参考訳（メタデータ） (2022-02-01T16:07:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。