論文の概要: Score Normalization for a Faster Diffusion Exponential Integrator Sampler

• arxiv url: http://arxiv.org/abs/2311.00157v1
• Date: Tue, 31 Oct 2023 21:18:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 15:47:45.607451
• Title: Score Normalization for a Faster Diffusion Exponential Integrator Sampler
• Title（参考訳）: 高速拡散指数積分器サンプリング器のスコア正規化
• Authors: Guoxuan Xia, Duolikun Danier, Ayan Das, Stathi Fotiadis, Farhang Nabiei, Ushnish Sengupta, Alberto Bernacchia
• Abstract要約: zhangらは拡散モデルからサンプルを高速に生成するための拡散指数積分器サンプリング(DEIS)を提案している。 このアプローチの鍵となるのはスコア関数の再パラメータ化であり、これは固定スコア関数の推定値から得られる積分誤差を低減する。 スコア正規化(DEIS-SN)はバニラDISと比較して常にFIDを改善している。
• 参考スコア（独自算出の注目度）: 8.914068241467234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, zhang et al have proposed the Diffusion Exponential Integrator Sampler (DEIS) for fast generation of samples from Diffusion Models. It leverages the semi-linear nature of the probability flow ordinary differential equation (ODE) in order to greatly reduce integration error and improve generation quality at low numbers of function evaluations (NFEs). Key to this approach is the score function reparameterisation, which reduces the integration error incurred from using a fixed score function estimate over each integration step. The original authors use the default parameterisation used by models trained for noise prediction -- multiply the score by the standard deviation of the conditional forward noising distribution. We find that although the mean absolute value of this score parameterisation is close to constant for a large portion of the reverse sampling process, it changes rapidly at the end of sampling. As a simple fix, we propose to instead reparameterise the score (at inference) by dividing it by the average absolute value of previous score estimates at that time step collected from offline high NFE generations. We find that our score normalisation (DEIS-SN) consistently improves FID compared to vanilla DEIS, showing an FID improvement from 6.44 to 5.57 at 10 NFEs for our CIFAR-10 experiments. Our code is available at https://github.com/mtkresearch/Diffusion-DEIS-SN.
• Abstract（参考訳）: 近年、zhangらは拡散モデルからサンプルを高速に生成するための拡散指数積分器サンプリング(DEIS)を提案している。 確率フロー常微分方程式(ODE)の半線形性を利用して、積分誤差を大幅に低減し、低数の関数評価(NFE)における生成品質を向上させる。 このアプローチの鍵はスコア関数の再パラメータ化であり、各統合ステップで固定スコア関数推定を使用することで生じる統合エラーを低減する。 オリジナルの著者はノイズ予測のために訓練されたモデルで使用されるデフォルトパラメータ化を使い、条件付き前方雑音分布の標準偏差によってスコアを乗算する。 このスコアパラメータ化の平均絶対値は、逆サンプリングプロセスの大部分では一定に近いが、サンプリング終了時には急速に変化する。 簡単な修正として、オフライン高NFE世代から収集した前のスコア推定値の平均絶対値によってスコア(推測値)を再パラメータ化することを提案する。 スコア正規化(DEIS-SN)はバニラDISに比べてFIDを継続的に改善し,CIFAR-10実験では10NFEにおいてFIDを6.44から5.57に改善した。 私たちのコードはhttps://github.com/mtkresearch/diffusion-deis-snで入手できる。

関連論文リスト

• Robust Fine-tuning of Zero-shot Models via Variance Reduction [56.360865951192324]
  微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。 トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2024-11-11T13:13:39Z)
• Towards Fast Stochastic Sampling in Diffusion Generative Models [22.01769257075573]
  拡散モデルは、推論時に遅いサンプル生成に悩まされる。 拡張空間における事前学習拡散モデルにおける高速サンプリングのための分割法を提案する。 本研究では,スプリッティングの単純適用が高速サンプリングに最適であることを示す。
  論文  参考訳（メタデータ） (2024-02-11T14:04:13Z)
• On Accelerating Diffusion-Based Sampling Process via Improved Integration Approximation [12.882586878998579]
  拡散に基づく生成モデルをサンプリングする一般的なアプローチは、常微分方程式(ODE)を解くことである。 改良された積分近似(IIA)を用いて特定の係数を最適化することにより、人気のあるODEベースのサンプリングプロセスの高速化を検討する。 また,IIA-EDM,IIA-DDIM,IIA-DPM-rを用いて,FIDスコアを従来よりも大幅に向上できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-22T06:06:28Z)
• Post-Processing Temporal Action Detection [134.26292288193298]
  時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。 この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。 モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-27T19:50:37Z)
• Combining Gradients and Probabilities for Heterogeneous Approximation of Neural Networks [2.5744053804694893]
  近似乗算器の挙動シミュレーションのための代理モデルとして,加法的ガウス雑音の有効性について検討する。 バックプロパゲーションを用いたネットワークトレーニングにおいて、正確な計算に注入されるノイズの量について学習する。 実験により,不均一近似とニューラルネットワーク再学習の組み合わせは,変種に対するエネルギー消費を減少させることが示された。
  論文  参考訳（メタデータ） (2022-08-15T15:17:34Z)
• Detecting Label Noise via Leave-One-Out Cross Validation [0.0]
  クリーンなサンプルと破損したサンプルの混合から実値のノイズラベルを同定し,修正するための簡単なアルゴリズムを提案する。 独立分散を伴う付加的なガウス雑音項をそれぞれと観測されたラベルに関連付けるヘテロ代用ノイズモデルを用いる。 提案手法は, 合成および実世界の科学データを用いた学習において, 劣化したサンプルを特定でき, より良い回帰モデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-03-21T10:02:50Z)
• Reducing the Amortization Gap in Variational Autoencoders: A Bayesian Random Function Approach [38.45568741734893]
  GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。 提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
  論文  参考訳（メタデータ） (2021-02-05T13:01:12Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• Top-k Training of GANs: Improving GAN Performance by Throwing Away Bad Samples [67.11669996924671]
  GAN(Generative Adversarial Network)トレーニングアルゴリズムに,簡単な修正(一行のコード)を導入する。 ジェネレータパラメータを更新するとき、批判者が最も現実的に評価するバッチの要素から勾配のコントリビューションをゼロにします。 このトップk更新の手順が一般的に適用可能な改善であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T19:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。