Fugu-MT 論文翻訳(概要): Non-saturating GAN training as divergence minimization

論文の概要: Non-saturating GAN training as divergence minimization

arxiv url: http://arxiv.org/abs/2010.08029v1
Date: Thu, 15 Oct 2020 21:34:56 GMT
ステータス: 処理完了
システム内更新日: 2022-10-07 03:26:01.278031
Title: Non-saturating GAN training as divergence minimization
Title（参考訳）: ばらつき最小化としての非飽和GANトレーニング
Authors: Matt Shannon, Ben Poole, Soroosh Mariooryad, Tom Bagby, Eric Battenberg, David Kao, Daisy Stanton, RJ Skerry-Ryan
Abstract要約: 本研究は,非飽和生成対向ネットワーク(GAN)トレーニングが,f分割をほぼ最小化することを示す。これらの結果から, 試料の品質は高いが, 多様性は低いことが示唆された。
参考スコア（独自算出の注目度）: 22.459183156517728
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Non-saturating generative adversarial network (GAN) training is widely used and has continued to obtain groundbreaking results. However so far this approach has lacked strong theoretical justification, in contrast to alternatives such as f-GANs and Wasserstein GANs which are motivated in terms of approximate divergence minimization. In this paper we show that non-saturating GAN training does in fact approximately minimize a particular f-divergence. We develop general theoretical tools to compare and classify f-divergences and use these to show that the new f-divergence is qualitatively similar to reverse KL. These results help to explain the high sample quality but poor diversity often observed empirically when using this scheme.
Abstract（参考訳）: non-saturating generative adversarial network (gan) トレーニングは広く使われており、画期的な結果を得続けている。しかし、このアプローチは f-GANs や Wasserstein GANs など、近似的発散最小化の観点から動機付けられた代替案とは対照的に、強い理論的な正当化を欠いている。本稿では,非飽和なGANトレーニングが,f-発散をほぼ最小化することを示す。我々は、f-分枝を比較・分類するための一般的な理論ツールを開発し、これらを用いて、新しいf-分枝が逆KLと質的に類似していることを示す。これらの結果から, 試料の品質は高いが, 多様性は低いことが示唆された。

関連論文リスト

Contrastive CFG: Improving CFG in Diffusion Models by Contrasting Positive and Negative Concepts [55.298031232672734]
As-Free Guidance (CFG) は条件拡散モデルサンプリングに有効であることが証明された。対照的な損失を用いた負のCFG誘導を強化する新しい手法を提案する。
論文参考訳（メタデータ） (2024-11-26T03:29:27Z)
Supervised Contrastive Learning with Heterogeneous Similarity for Distribution Shifts [3.7819322027528113]
本稿では,教師付きコントラスト学習を用いた新たな正規化手法を提案する。サブポピュレーションシフトや領域一般化などの分布シフトをエミュレートするベンチマークデータセットの実験は,提案手法の利点を実証している。
論文参考訳（メタデータ） (2023-04-07T01:45:09Z)
MonoFlow: Rethinking Divergence GANs via the Perspective of Wasserstein Gradient Flows [34.795115757545915]
統合された生成モデリングフレームワーク、MonoFlowを紹介します。私たちのフレームワークでは、まずMonoFlowのベクトルフィールドを取得する手順として、逆トレーニングを見ることができる。また,変動発散最小化と逆行訓練の基本的な相違も明らかにした。
論文参考訳（メタデータ） (2023-02-02T13:05:27Z)
How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文参考訳（メタデータ） (2022-06-10T15:09:46Z)
UQGAN: A Unified Model for Uncertainty Quantification of Deep Classifiers trained via Conditional GANs [9.496524884855559]
本稿では,GAN(Generative Adversarial Network)に基づく画像分類におけるディープニューラルネットワークの不確実性の定量化手法を提案する。 GAN の生成した OoD の例で分散データの全体を保護する代わりに,条件付き GAN によって生成されたクラスを別々に保護する。特に、最先端のGAN学習に基づく分類器のOoD検出とFP検出性能を改善した。
論文参考訳（メタデータ） (2022-01-31T14:42:35Z)
Understanding Why Generalized Reweighting Does Not Improve Over ERM [36.69039005731499]
経験的リスク最小化(ERM)は、実際にはトレーニングとテスト分布が異なる分布シフトに対して非破壊的であることが知られている。この問題を解決するために、重み付けや分散ロバスト最適化(DRO)の変種などの一連のアプローチが提案されている。しかし、近年の一連の研究は、分散シフトを伴う実際のアプリケーションにおいて、これらのアプローチはERMよりも大幅に改善していないことを実証的に示している。
論文参考訳（メタデータ） (2022-01-28T17:58:38Z)
GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
論文参考訳（メタデータ） (2020-09-24T19:34:37Z)
Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。勾配推定の品質はリスク最小化においてより重要であることを示す。本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-05T04:19:37Z)
When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
論文参考訳（メタデータ） (2020-02-24T11:35:28Z)
Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。