論文の概要: Score Normalization for a Faster Diffusion Exponential Integrator Sampler

• arxiv url: http://arxiv.org/abs/2311.00157v2
• Date: Fri, 10 Nov 2023 00:30:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 17:12:21.788025
• Title: Score Normalization for a Faster Diffusion Exponential Integrator Sampler
• Title（参考訳）: 高速拡散指数積分器サンプリング器のスコア正規化
• Authors: Guoxuan Xia, Duolikun Danier, Ayan Das, Stathi Fotiadis, Farhang Nabiei, Ushnish Sengupta, Alberto Bernacchia
• Abstract要約: Zhangらは拡散モデルからサンプルを高速に生成するための拡散指数積分器サンプリング(DEIS)を提案している。 このアプローチの鍵となるのはスコア関数の再パラメータ化であり、これは固定スコア関数の推定値から得られる積分誤差を低減する。 スコア正規化(DEIS-SN)はバニラDISと比較して常にFIDを改善している。
• 参考スコア（独自算出の注目度）: 8.914068241467234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Zhang et al. have proposed the Diffusion Exponential Integrator Sampler (DEIS) for fast generation of samples from Diffusion Models. It leverages the semi-linear nature of the probability flow ordinary differential equation (ODE) in order to greatly reduce integration error and improve generation quality at low numbers of function evaluations (NFEs). Key to this approach is the score function reparameterisation, which reduces the integration error incurred from using a fixed score function estimate over each integration step. The original authors use the default parameterisation used by models trained for noise prediction -- multiply the score by the standard deviation of the conditional forward noising distribution. We find that although the mean absolute value of this score parameterisation is close to constant for a large portion of the reverse sampling process, it changes rapidly at the end of sampling. As a simple fix, we propose to instead reparameterise the score (at inference) by dividing it by the average absolute value of previous score estimates at that time step collected from offline high NFE generations. We find that our score normalisation (DEIS-SN) consistently improves FID compared to vanilla DEIS, showing an improvement at 10 NFEs from 6.44 to 5.57 on CIFAR-10 and from 5.9 to 4.95 on LSUN-Church 64x64. Our code is available at https://github.com/mtkresearch/Diffusion-DEIS-SN
• Abstract（参考訳）: 近年、Zhangらは拡散モデルからサンプルを高速に生成するための拡散指数積分器サンプリング(DEIS)を提案している。 確率フロー常微分方程式(ODE)の半線形性を利用して、積分誤差を大幅に低減し、低数の関数評価(NFE)における生成品質を向上させる。 このアプローチの鍵はスコア関数の再パラメータ化であり、各統合ステップで固定スコア関数推定を使用することで生じる統合エラーを低減する。 オリジナルの著者はノイズ予測のために訓練されたモデルで使用されるデフォルトパラメータ化を使い、条件付き前方雑音分布の標準偏差によってスコアを乗算する。 このスコアパラメータ化の平均絶対値は、逆サンプリングプロセスの大部分では一定に近いが、サンプリング終了時には急速に変化する。 簡単な修正として、オフライン高NFE世代から収集した前のスコア推定値の平均絶対値によってスコア(推測値)を再パラメータ化することを提案する。 スコア正規化(deis-sn)はバニラ・ディースに比べて一貫してfidが向上し,cifar-10では6.44から5.57,lsun-church 64x64では5.9から4.95に改善した。 私たちのコードはhttps://github.com/mtkresearch/Diffusion-DEIS-SNで利用可能です。

関連論文リスト

• Distributional Diffusion Models with Scoring Rules [83.38210785728994]
  拡散モデルは高品質な合成データを生成する。 高品質な出力を生成するには、多くの離散化ステップが必要です。 クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
  論文  参考訳（メタデータ） (2025-02-04T16:59:03Z)
• Robust Fine-tuning of Zero-shot Models via Variance Reduction [56.360865951192324]
  微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。 トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2024-11-11T13:13:39Z)
• PFDiff: Training-Free Acceleration of Diffusion Models Combining Past and Future Scores [4.595421654683656]
  拡散確率モデル(DPM)は画像生成において顕著な可能性を示している。 既存のほとんどのソリューションは、高速ODEソルバを提案することでサンプリングプロセスを加速する。 我々は、既存の高速ODEソルバを少ないNFEで動作させることができる新しいトレーニングフリーかつタイムステップスキッピング戦略であるPFDiffを提案する。
  論文  参考訳（メタデータ） (2024-08-16T16:12:44Z)
• Towards Fast Stochastic Sampling in Diffusion Generative Models [22.01769257075573]
  拡散モデルは、推論時に遅いサンプル生成に悩まされる。 拡張空間における事前学習拡散モデルにおける高速サンプリングのための分割法を提案する。 本研究では,スプリッティングの単純適用が高速サンプリングに最適であることを示す。
  論文  参考訳（メタデータ） (2024-02-11T14:04:13Z)
• Closed-Form Diffusion Models [14.20871291924173]
  目標分布からのスコアベース生成モデル(SGM)は、目標のスコア関数を用いて反復的に雑音を変換することによってサンプリングされる。 任意の有限トレーニングセットに対して、このスコア関数はクローズドな形式で評価できるが、結果のSGMはそのトレーニングデータを記憶し、新しいサンプルを生成することはない。 そこで本研究では,そのスコア関数の最適近傍推定器を提案する。
  論文  参考訳（メタデータ） (2023-10-19T00:45:05Z)
• Post-Processing Temporal Action Detection [134.26292288193298]
  時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。 この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。 モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-27T19:50:37Z)
• Combining Gradients and Probabilities for Heterogeneous Approximation of Neural Networks [2.5744053804694893]
  近似乗算器の挙動シミュレーションのための代理モデルとして,加法的ガウス雑音の有効性について検討する。 バックプロパゲーションを用いたネットワークトレーニングにおいて、正確な計算に注入されるノイズの量について学習する。 実験により,不均一近似とニューラルネットワーク再学習の組み合わせは,変種に対するエネルギー消費を減少させることが示された。
  論文  参考訳（メタデータ） (2022-08-15T15:17:34Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• Top-k Training of GANs: Improving GAN Performance by Throwing Away Bad Samples [67.11669996924671]
  GAN(Generative Adversarial Network)トレーニングアルゴリズムに,簡単な修正(一行のコード)を導入する。 ジェネレータパラメータを更新するとき、批判者が最も現実的に評価するバッチの要素から勾配のコントリビューションをゼロにします。 このトップk更新の手順が一般的に適用可能な改善であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T19:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。