論文の概要: Adversarial Likelihood Estimation With One-Way Flows

• arxiv url: http://arxiv.org/abs/2307.09882v3
• Date: Mon, 2 Oct 2023 08:35:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 13:44:14.522488
• Title: Adversarial Likelihood Estimation With One-Way Flows
• Title（参考訳）: 片道流による対向的確率推定
• Authors: Omri Ben-Dov, Pravir Singh Gupta, Victoria Abrevaya, Michael J. Black, Partha Ghosh
• Abstract要約: GAN(Generative Adversarial Networks)は、高品質なサンプルを生成することができるが、サンプル周辺の確率密度を見積もることはできない。 提案手法は, より高速に収束し, 類似したアーキテクチャでGANに匹敵するサンプル品質を生成し, 一般的に使用されるデータセットの過度な適合を回避し, トレーニングデータのスムーズな低次元潜在表現を生成する。
• 参考スコア（独自算出の注目度）: 44.684952377918904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Adversarial Networks (GANs) can produce high-quality samples, but do not provide an estimate of the probability density around the samples. However, it has been noted that maximizing the log-likelihood within an energy-based setting can lead to an adversarial framework where the discriminator provides unnormalized density (often called energy). We further develop this perspective, incorporate importance sampling, and show that 1) Wasserstein GAN performs a biased estimate of the partition function, and we propose instead to use an unbiased estimator; and 2) when optimizing for likelihood, one must maximize generator entropy. This is hypothesized to provide a better mode coverage. Different from previous works, we explicitly compute the density of the generated samples. This is the key enabler to designing an unbiased estimator of the partition function and computation of the generator entropy term. The generator density is obtained via a new type of flow network, called one-way flow network, that is less constrained in terms of architecture, as it does not require a tractable inverse function. Our experimental results show that our method converges faster, produces comparable sample quality to GANs with similar architecture, successfully avoids over-fitting to commonly used datasets and produces smooth low-dimensional latent representations of the training data.
• Abstract（参考訳）: generative adversarial network (gans) は高品質なサンプルを生成できるが、サンプル周辺の確率密度の推定はできない。 しかしながら、エネルギーに基づく設定において、ログの類似度を最大化することは、判別器が非正規化された密度(しばしばエネルギーと呼ばれる)を提供する敵の枠組みにつながる可能性がある。 我々は、この視点をさらに発展させ、重要サンプリングを取り入れ、 1)wasserstein ganは分割関数の偏り推定を行い、代わりに偏りのない推定器を使うように提案する。 2) 可能性に最適化する場合は, 生成エントロピーを最大化する必要がある。 これは、より良いモードカバレッジを提供すると仮定される。 従来の研究と異なり、生成したサンプルの密度を明示的に計算する。 これは分割関数の偏りのない推定器の設計とジェネレータエントロピー項の計算の鍵となる。 ジェネレータ密度は、一方向フローネットワークと呼ばれる新しいタイプのフローネットワークによって得られるが、従順な逆関数を必要としないため、アーキテクチャの面では制約が小さい。 実験の結果,本手法はより高速に収束し,類似したアーキテクチャでGANに匹敵するサンプル品質が得られ,一般的なデータセットへの過度な適合を回避し,トレーニングデータのスムーズな低次元潜在表現を生成することができた。

関連論文リスト

• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。 最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。 RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Using Intermediate Forward Iterates for Intermediate Generator Optimization [14.987013151525368]
  中間ジェネレータ最適化は、生成タスクのための任意の標準オートエンコーダパイプラインに組み込むことができる。 IGOの2つの密集予測タスク(viz.)、画像外挿、点雲デノイング(denoising)に対する応用を示す。
  論文  参考訳（メタデータ） (2023-02-05T08:46:15Z)
• LED: Latent Variable-based Estimation of Density [44.055718819650025]
  LED は GAN と密接に関連する新しい生成モデルであり,効率的なサンプリングと高密度推定を可能にする。 我々は,低次元潜伏変数を入力として許容しつつ,生成したサンプルの正確な確率を計算するフローベースジェネレータを構築した。 各種データセットを用いた実験結果から, 得られた試料の精度を保ちながら, 精度の高い推定値が得られた。
  論文  参考訳（メタデータ） (2022-06-23T09:19:11Z)
• Neural Inverse Transform Sampler [4.061135251278187]
  ニューラルネットワークを用いて条件密度をモデル化する場合、$Z$を正確に効率的に計算できることが示される。 textbfNeural Inverse Transform Sampler (NITS)は,汎用的,多次元,コンパクトに支持された確率密度のモデリングとサンプリングのための新しいディープラーニングフレームワークである。
  論文  参考訳（メタデータ） (2022-06-22T15:28:29Z)
• Convergence for score-based generative modeling with polynomial complexity [9.953088581242845]
  我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。 以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。 予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-13T14:57:35Z)
• Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator [85.68825725223873]
  GAN(Generative Adversarial Networks)は、高次元データのモデリングにおいて大きな可能性を秘めている。 本稿では,WGANの識別器の特性を活かした識別器コントラストの多様性について紹介する。 我々は、合成データと実世界の画像生成ベンチマークの両方において、大幅に改善された生成の利点を実証する。
  論文  参考訳（メタデータ） (2020-04-05T01:50:16Z)
• Your GAN is Secretly an Energy-based Model and You Should use Discriminator Driven Latent Sampling [106.68533003806276]
  本研究では,潜時空間におけるサンプリングは,潜時空間の前対数密度と判別器出力スコアの和によって誘導されるエネルギーベースモデルに従って,潜時空間におけるサンプリングを行うことによって達成できることを示す。 判別器駆動潜時サンプリング(DDLS)は,高次元画素空間で動作する従来の手法と比較して,高効率であることを示す。
  論文  参考訳（メタデータ） (2020-03-12T23:33:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。