論文の概要: One-Line-of-Code Data Mollification Improves Optimization of Likelihood-based Generative Models

• arxiv url: http://arxiv.org/abs/2305.18900v1
• Date: Tue, 30 May 2023 09:58:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 17:13:16.402405
• Title: One-Line-of-Code Data Mollification Improves Optimization of Likelihood-based Generative Models
• Title（参考訳）: One-line-of-Code Data Mollificationは、類似生成モデルの最適化を改善する
• Authors: Ba-Hien Tran, Giulio Franzese, Pietro Michiardi, Maurizio Filippone
• Abstract要約: LikelihoodベースのGMは、単一のモデル評価によって新しいデータを生成する可能性があるため、魅力的である。 彼らは通常、最先端のスコアベース拡散モデル(DM)と比較して低いサンプル品質を達成する。
• 参考スコア（独自算出の注目度）: 19.95552856402578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Models (GMs) have attracted considerable attention due to their tremendous success in various domains, such as computer vision where they are capable to generate impressive realistic-looking images. Likelihood-based GMs are attractive due to the possibility to generate new data by a single model evaluation. However, they typically achieve lower sample quality compared to state-of-the-art score-based diffusion models (DMs). This paper provides a significant step in the direction of addressing this limitation. The idea is to borrow one of the strengths of score-based DMs, which is the ability to perform accurate density estimation in low-density regions and to address manifold overfitting by means of data mollification. We connect data mollification through the addition of Gaussian noise to Gaussian homotopy, which is a well-known technique to improve optimization. Data mollification can be implemented by adding one line of code in the optimization loop, and we demonstrate that this provides a boost in generation quality of likelihood-based GMs, without computational overheads. We report results on image data sets with popular likelihood-based GMs, including variants of variational autoencoders and normalizing flows, showing large improvements in FID score.
• Abstract（参考訳）: 生成モデル(gms)は、コンピュータビジョンのような、印象的なリアルなイメージを生成できる様々な領域で大きな成功を収めているため、多くの注目を集めている。 LikelihoodベースのGMは、単一のモデル評価によって新しいデータを生成する可能性から魅力的である。 しかし、それらは通常、最先端のスコアベース拡散モデル(DM)と比較して低いサンプル品質を達成する。 本稿では,この限界に対処するための重要なステップを提供する。 この考え方は、低密度領域で正確な密度推定を行うことのできるスコアベースのDMの強みの1つを借り、データモリフィケーションによる過剰適合に対処することを目的としている。 我々はガウス雑音をガウスホモトピーに付加することでデータモリフィケーションを接続する。 データモラフィケーションは最適化ループに1行のコードを追加することで実装でき、計算のオーバーヘッドなしにラピッドベースgmsの生成品質を向上できることを実証する。 可変オートエンコーダの変種や正規化フローを含む,一般的な確率ベースGMを用いた画像データセットの結果を報告する。

関連論文リスト

• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Don't be so negative! Score-based Generative Modeling with Oracle-assisted Guidance [12.039478020062608]
  我々は新しい拡散確率モデル(DDPM)手法であるGen-neGを開発した。 提案手法は, 生成過程を誘導する拡散モデルにおいて, GAN(Generative Adversarial Network)と差別化誘導に基づいて構築する。 我々は、自動運転シミュレータにおける衝突回避や、安全で保護された人間の動き生成などの応用において、Gen-neGの有用性を実証的に確立する。
  論文  参考訳（メタデータ） (2023-07-31T07:52:00Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Exponentially Tilted Gaussian Prior for Variational Autoencoder [3.52359746858894]
  近年の研究では, この課題に対して確率的生成モデルが不十分であることが示されている。 変分オートエンコーダ(VAE)の指数傾斜ガウス事前分布を提案する。 本モデルでは,標準ガウスVAEよりクオリティの高い画像サンプルが得られた。
  論文  参考訳（メタデータ） (2021-11-30T18:28:19Z)
• Hierarchical Graph-Convolutional Variational AutoEncoding for Generative Modelling of Human Motion [1.2599533416395767]
  人間の動きのモデルは通常、軌跡予測または行動分類に焦点を当てるが、どちらもまれである。 本稿では,階層的変動オートエンコーダと深部グラフ畳み込みニューラルネットワークに基づく新しいアーキテクチャを提案する。 この階層型グラフ共進化型自己エンコーダ(HG-VAE)は、コヒーレントな動作を生成し、分布外データを検出し、モデルの後部への勾配上昇による欠落データを出力できることを示す。
  論文  参考訳（メタデータ） (2021-11-24T16:21:07Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Generative Max-Mahalanobis Classifiers for Image Classification, Generation and More [6.89001867562902]
  Max-Mahalanobis (MMC) は、画像分類と生成のために、識別、生成、共同で訓練することができる。 ジェネラティブMCC(Generative MMC)は、画像分類と生成のために、識別的、生成的、または共同でトレーニングできることを示します。
  論文  参考訳（メタデータ） (2021-01-01T00:42:04Z)
• Improving Generative Adversarial Networks with Local Coordinate Coding [150.24880482480455]
  GAN(Generative Adversarial Network)は、事前定義された事前分布から現実的なデータを生成することに成功している。 実際には、意味情報はデータから学んだ潜在的な分布によって表現される。 ローカル座標符号化(LCC)を用いたLCCGANモデルを提案する。
  論文  参考訳（メタデータ） (2020-07-28T09:17:50Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。