論文の概要: S4S: Solving for a Diffusion Model Solver

• arxiv url: http://arxiv.org/abs/2502.17423v1
• Date: Mon, 24 Feb 2025 18:55:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:53:00.269466
• Title: S4S: Solving for a Diffusion Model Solver
• Title（参考訳）: S4S:拡散モデル解法のための解法
• Authors: Eric Frankel, Sitan Chen, Jerry Li, Pang Wei Koh, Lillian J. Ratliff, Sewoong Oh,
• Abstract要約: 拡散モデル(DM)は、ランダムノイズから始まり、逆時間常微分方程式(ODE)を解くことによって、データ分布からサンプルを作成する。 我々は、Solving for the Solver(S4S)と呼ばれるDMのための優れた解法を学ぶ新しい方法を提案する。 すべての設定において、S4Sは従来のODEソルバと比較してサンプル品質を均一に改善する。
• 参考スコア（独自算出の注目度）: 52.99341671532249
• License:
• Abstract: Diffusion models (DMs) create samples from a data distribution by starting from random noise and iteratively solving a reverse-time ordinary differential equation (ODE). Because each step in the iterative solution requires an expensive neural function evaluation (NFE), there has been significant interest in approximately solving these diffusion ODEs with only a few NFEs without modifying the underlying model. However, in the few NFE regime, we observe that tracking the true ODE evolution is fundamentally impossible using traditional ODE solvers. In this work, we propose a new method that learns a good solver for the DM, which we call Solving for the Solver (S4S). S4S directly optimizes a solver to obtain good generation quality by learning to match the output of a strong teacher solver. We evaluate S4S on six different pre-trained DMs, including pixel-space and latent-space DMs for both conditional and unconditional sampling. In all settings, S4S uniformly improves the sample quality relative to traditional ODE solvers. Moreover, our method is lightweight, data-free, and can be plugged in black-box on top of any discretization schedule or architecture to improve performance. Building on top of this, we also propose S4S-Alt, which optimizes both the solver and the discretization schedule. By exploiting the full design space of DM solvers, with 5 NFEs, we achieve an FID of 3.73 on CIFAR10 and 13.26 on MS-COCO, representing a $1.5\times$ improvement over previous training-free ODE methods.
• Abstract（参考訳）: 拡散モデル(DM)は、ランダムノイズから始まり、逆時間常微分方程式(ODE)を反復的に解くことによって、データ分布からサンプルを作成する。 反復解における各ステップは、高価な神経機能評価(NFE)を必要とするため、基礎となるモデルを変更することなく、ほんの数個のNFEでこれらの拡散ODEを解くことには、かなりの関心が寄せられている。 しかし、少数のNFE体制では、従来のODEソルバを用いて真のODE進化を追跡することは基本的に不可能である。 そこで本研究では,Solving for the Solver (S4S) と呼ばれるDMの優れた解法を学習する手法を提案する。 S4Sは、ソルバを直接最適化して、強い教師ソルバの出力にマッチするように学習することで、優れた世代品質を得る。 我々は,S4Sを画素空間と潜時空間のDMを含む6種類の事前訓練済みDM上で,条件と非条件の両方で評価した。 すべての設定において、S4Sは従来のODEソルバと比較してサンプル品質を均一に改善する。 さらに,本手法は軽量でデータフリーであり,識別スケジュールやアーキテクチャ上のブラックボックスにプラグインすることで性能を向上させることができる。 この上に構築されたS4S-Altは,解法と離散化スケジュールの両方を最適化する。 CIFAR10では3.73、MS-COCOでは13.26のFIDが達成され、従来のトレーニング不要ODE法よりも1.5\times$改善された。

関連論文リスト

• Fast ODE-based Sampling for Diffusion Models in Around 5 Steps [17.500594480727617]
  本稿では, 高速サンプリングのための平均方向を直接学習することにより, トランケーション誤差を解消する近似平均方向解法(AMED-r)を提案する。 本手法は,既存の ODE ベースのサンプルを改良するためのプラグインとして容易に利用できる。
  論文  参考訳（メタデータ） (2023-11-30T13:07:19Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics [23.030972042695275]
  拡散モデル(DPM)は、非効率サンプリングに悩まされながら、高忠実度画像生成に優れた性能を示した。 最近の研究は、DPMの特定のODE形式を利用する高速ODEソルバを提案することでサンプリング手順を加速している。 本稿では,1次離散化誤差を最小限に抑えるため,サンプリング中の最適パラメータ化に向けた新しい定式化を提案する。
  論文  参考訳（メタデータ） (2023-10-20T04:23:12Z)
• Distilling ODE Solvers of Diffusion Models into Smaller Steps [32.49916706943228]
  本稿では, ODEソルバの定式化を基礎とした蒸留法であるDistilled-ODE solverを紹介する。 本手法は学習自由サンプリングと学習ベースサンプリングの両方の長所をシームレスに統合する。 従来の蒸留法と比較して計算オーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2023-09-28T13:12:18Z)
• Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
  ニューラルネットワークの訓練を高速化する代替手法を提案する。 我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。 また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
  論文  参考訳（メタデータ） (2023-08-21T11:31:15Z)
• Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling [72.84259710412293]
  アダプティブと呼ばれるいくつかのODEソルバは、目の前の問題の複雑さに応じて評価戦略を適用することができる。 本稿では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。
  論文  参考訳（メタデータ） (2022-11-13T17:48:04Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• ResNet After All? Neural ODEs and Their Numerical Solution [28.954378025052925]
  訓練されたニューラル正規微分方程式モデルは、実際にトレーニング中に使用される特定の数値法に依存していることを示す。 本稿では,ODEソルバの動作を学習中に監視し,ステップサイズを適応させる手法を提案する。
  論文  参考訳（メタデータ） (2020-07-30T11:24:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。