論文の概要: Physics Informed Distillation for Diffusion Models

• arxiv url: http://arxiv.org/abs/2411.08378v1
• Date: Wed, 13 Nov 2024 07:03:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:09:16.701768
• Title: Physics Informed Distillation for Diffusion Models
• Title（参考訳）: 拡散モデルのための物理インフォームド蒸留
• Authors: Joshua Tian Jin Tee, Kang Zhang, Hee Suk Yoon, Dhananjaya Nagaraja Gowda, Chanwoo Kim, Chang D. Yoo,
• Abstract要約: 本研究では,教師の拡散モデルに対応するODEシステムの解法を表現するために,学生モデルを用いた物理インフォームド蒸留(PID)を導入する。 PIDの性能は最近の蒸留法と同等である。
• 参考スコア（独自算出の注目度）: 21.173298037358954
• License:
• Abstract: Diffusion models have recently emerged as a potent tool in generative modeling. However, their inherent iterative nature often results in sluggish image generation due to the requirement for multiple model evaluations. Recent progress has unveiled the intrinsic link between diffusion models and Probability Flow Ordinary Differential Equations (ODEs), thus enabling us to conceptualize diffusion models as ODE systems. Simultaneously, Physics Informed Neural Networks (PINNs) have substantiated their effectiveness in solving intricate differential equations through implicit modeling of their solutions. Building upon these foundational insights, we introduce Physics Informed Distillation (PID), which employs a student model to represent the solution of the ODE system corresponding to the teacher diffusion model, akin to the principles employed in PINNs. Through experiments on CIFAR 10 and ImageNet 64x64, we observe that PID achieves performance comparable to recent distillation methods. Notably, it demonstrates predictable trends concerning method-specific hyperparameters and eliminates the need for synthetic dataset generation during the distillation process. Both of which contribute to its easy-to-use nature as a distillation approach for Diffusion Models. Our code and pre-trained checkpoint are publicly available at: https://github.com/pantheon5100/pid_diffusion.git.
• Abstract（参考訳）: 拡散モデルは最近、生成モデリングの強力なツールとして登場した。 しかし、その本質的な反復性は、複数のモデル評価を必要とするため、しばしばスラジッシュな画像生成をもたらす。 近年,拡散モデルと確率フロー正規微分方程式 (ODE) の本質的な関係が明らかになってきており,拡散モデルをODEシステムとして概念化することができる。 同時に、物理情報ニューラルネットワーク(PINN)は、その解を暗黙的にモデル化することで、複雑な微分方程式の解法の有効性を実証した。 これらの基礎的知見に基づいて,教員拡散モデルに対応するODEシステムの解法を表現する学生モデルを用いた物理インフォームド蒸留(PID)を導入する。 CIFAR 10 と ImageNet 64x64 の実験により,PID は最近の蒸留法に匹敵する性能を達成できた。 特に、メソッド固有のハイパーパラメータに関する予測可能な傾向を示し、蒸留過程における合成データセット生成の必要性を排除している。 どちらも拡散モデルの蒸留手法としての使いやすさに寄与している。 私たちのコードと事前トレーニングされたチェックポイントは、https://github.com/pantheon5100/pid_diffusion.git.comで公開されています。

関連論文リスト

• Distillation of Discrete Diffusion through Dimensional Correlations [21.078500510691747]
  離散拡散における「ミクチャー」モデルは、拡張性を維持しながら次元相関を扱える。 CIFAR-10データセットで事前学習した連続時間離散拡散モデルを蒸留することにより,提案手法が実際に動作することを実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-11T10:53:03Z)
• Tuning Timestep-Distilled Diffusion Model Using Pairwise Sample Optimization [97.35427957922714]
  任意の時間ステップ蒸留拡散モデルを直接微調整できるPSOアルゴリズムを提案する。 PSOは、現在の時間ステップ蒸留モデルからサンプリングされた追加の参照画像を導入し、トレーニング画像と参照画像との相対的な近縁率を増大させる。 PSOは、オフラインとオンラインのペアワイズ画像データの両方を用いて、蒸留モデルを直接人間の好ましくない世代に適応させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-04T07:05:16Z)
• Maximum Entropy Inverse Reinforcement Learning of Diffusion Models with Energy-Based Models [12.327318533784961]
  本稿では,拡散生成モデルのサンプル品質を向上させるために,最大強化学習(IRL)手法を提案する。 トレーニングデータから推定したログ密度を用いて拡散モデルを訓練(または微調整)する。 実験により,DxMIを用いて微調整した拡散モデルでは,4段階から10段階の精度で高品質な試料を生成できることがわかった。
  論文  参考訳（メタデータ） (2024-06-30T08:52:17Z)
• Variational Distillation of Diffusion Policies into Mixture of Experts [26.315682445979302]
  本研究は, 拡散反応をエキスパート混合体 (MoE) に蒸留する新しい方法である変動拡散蒸留 (VDD) を導入する。 拡散モデル(英: Diffusion Models)は、複雑なマルチモーダル分布を正確に学習し、表現する能力があるため、生成モデリングにおける現在の最先端技術である。 VDDは、事前学習した拡散モデルをMoEモデルに蒸留し、拡散モデルの表現性を混合モデルの利点と組み合わせる最初の方法である。
  論文  参考訳（メタデータ） (2024-06-18T12:15:05Z)
• An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
  拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。 経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。 本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
  論文  参考訳（メタデータ） (2024-04-11T14:07:25Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
  強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。 RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。 3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-04-14T13:51:26Z)
• Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance [95.12230117950232]
  関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。 テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:53:52Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。