論文の概要: Addressing GAN Training Instabilities via Tunable Classification Losses
- arxiv url: http://arxiv.org/abs/2310.18291v1
- Date: Fri, 27 Oct 2023 17:29:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 12:41:33.699012
- Title: Addressing GAN Training Instabilities via Tunable Classification Losses
- Title（参考訳）: 可変分類損失によるGAN訓練障害の対応
- Authors: Monica Welfert, Gowtham R. Kurri, Kyle Otstot, Lalitha Sankar
- Abstract要約: GAN(Generative Adversarial Network)は、形式的な保証付き合成データを生成する。
すべての対称$f$-発散は収束において同値であることを示す。
また,合成2次元ガウス混合環のトレーニング不安定性を緩和するために,$(alpha_D,alpha_G)$のチューニング値も強調する。
- 参考スコア（独自算出の注目度）: 8.151943266391493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative adversarial networks (GANs), modeled as a zero-sum game between a
generator (G) and a discriminator (D), allow generating synthetic data with
formal guarantees. Noting that D is a classifier, we begin by reformulating the
GAN value function using class probability estimation (CPE) losses. We prove a
two-way correspondence between CPE loss GANs and $f$-GANs which minimize
$f$-divergences. We also show that all symmetric $f$-divergences are equivalent
in convergence. In the finite sample and model capacity setting, we define and
obtain bounds on estimation and generalization errors. We specialize these
results to $\alpha$-GANs, defined using $\alpha$-loss, a tunable CPE loss
family parametrized by $\alpha\in(0,\infty]$. We next introduce a class of
dual-objective GANs to address training instabilities of GANs by modeling each
player's objective using $\alpha$-loss to obtain $(\alpha_D,\alpha_G)$-GANs. We
show that the resulting non-zero sum game simplifies to minimizing an
$f$-divergence under appropriate conditions on $(\alpha_D,\alpha_G)$.
Generalizing this dual-objective formulation using CPE losses, we define and
obtain upper bounds on an appropriately defined estimation error. Finally, we
highlight the value of tuning $(\alpha_D,\alpha_G)$ in alleviating training
instabilities for the synthetic 2D Gaussian mixture ring as well as the large
publicly available Celeb-A and LSUN Classroom image datasets.
- Abstract（参考訳）: ジェネレータ(G)とディスクリミネータ(D)の間のゼロサムゲームとしてモデル化されたGAN(Generative Adversarial Network)は、正式な保証付き合成データを生成することができる。
D が分類器であることに注意し、クラス確率推定(CPE)損失を用いて GAN 値関数を再構成することから始める。
CPE損失GANと$f$-GANの双方向対応を証明し,$f$-divergencesを最小化する。
また、すべての対称$f$-発散は収束において同値であることを示す。
有限サンプルおよびモデルキャパシティ設定において、推定および一般化誤差のバウンダリを定義し、取得する。
これらの結果は $\alpha$-GANs に特化しており、$\alpha$-loss は $\alpha\in(0,\infty]$ でパラメータ化された調整可能な CPE 損失族である。
次に、各プレイヤーの目標を$\alpha$-lossを用いてモデル化し、GANのトレーニング不安定性に対処する2目的GANのクラスを導入し、$(\alpha_D,\alpha_G)$-GANを得る。
結果のゼロでない和ゲームは、$(\alpha_D,\alpha_G)$の適切な条件下での$f$-divergenceを最小化する。
CPE損失を用いたこの双対対象の定式化を一般化し、適切に定義された推定誤差の上限を定義し、求める。
最後に,合成2次元ガウス混合環のトレーニング不安定性を緩和する上での$(\alpha_D,\alpha_G)$のチューニング値と,Celeb-AおよびLSUN Classroomの画像データセットの大規模公開について述べる。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - A Unifying Generator Loss Function for Generative Adversarial Networks [5.5575224613422725]
二重目的生成逆数ネットワーク(GAN)に対する$alpha$-parametrized generator loss関数の導入
ジェネレータ損失関数は対称クラス確率推定型関数である$mathcalL_alpha$に基づいており、その結果のGANシステムは$mathcalL_alpha$-GANと呼ばれる。
論文 参考訳（メタデータ） (2023-08-14T16:16:31Z) - $(\alpha_D,\alpha_G)$-GANs: Addressing GAN Training Instabilities via
Dual Objectives [7.493779672689531]
生成器(G)と識別器(D)に異なる値関数(対象物)を持つ2目的GANのクラスを導入する。
結果のゼロでない和ゲームは、$(alpha_D,alpha_G)$の適切な条件下での$f$-divergenceを最小化する。
合成2次元ガウス混合環とスタックドMNISTデータセットのトレーニング不安定性を緩和するために, チューニング $(alpha_D,alpha_G)$ の値を強調した。
論文 参考訳（メタデータ） (2023-02-28T05:22:54Z) - $\alpha$-GAN: Convergence and Estimation Guarantees [7.493779672689531]
一般CPE損失関数 GAN の min-max 最適化と、関連する$f$-divergences の最小化との対応性を証明する。
次に、$alpha$-GAN を $alpha$-loss で定義し、いくつかの GAN を補間し、有元発散の最小化に対応する。
論文 参考訳（メタデータ） (2022-05-12T23:26:51Z) - Realizing GANs via a Tunable Loss Function [7.455546102930911]
我々は$alpha$-GAN と呼ばれる調整可能な GAN を導入し、$alpha in (0,infty]$ でパラメータ化する。
その結果,$alpha$-GANは有本発散と密接に関連していることがわかった。
論文 参考訳（メタデータ） (2021-06-09T17:18:21Z) - Provable Robustness of Adversarial Training for Learning Halfspaces with
Noise [95.84614821570283]
ラベル雑音の存在下での敵対的ロバストなハーフスペースの特性を分析する。
我々の知る限りでは、これは敵の訓練がノイズの分類子を与えることを示す最初の研究である。
論文 参考訳（メタデータ） (2021-04-19T16:35:38Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Least $k$th-Order and R\'{e}nyi Generative Adversarial Networks [12.13405065406781]
実験結果から,MNISTデータセットとCelebAデータセットに適用した損失関数は,それぞれ$k$と$alpha$のパラメータによって提供される余分な自由度により,性能上のメリットが期待できることがわかった。
本研究は GAN に適用されているが,提案手法は汎用的であり,情報理論の他の応用例,例えば人工知能における公正性やプライバシの問題などに応用することができる。
論文 参考訳（メタデータ） (2020-06-03T18:44:05Z) - Your GAN is Secretly an Energy-based Model and You Should use
Discriminator Driven Latent Sampling [106.68533003806276]
本研究では,潜時空間におけるサンプリングは,潜時空間の前対数密度と判別器出力スコアの和によって誘導されるエネルギーベースモデルに従って,潜時空間におけるサンプリングを行うことによって達成できることを示す。
判別器駆動潜時サンプリング(DDLS)は,高次元画素空間で動作する従来の手法と比較して,高効率であることを示す。
論文 参考訳（メタデータ） (2020-03-12T23:33:50Z) - Curse of Dimensionality on Randomized Smoothing for Certifiable
Robustness [151.67113334248464]
我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。
我々はCIFARに関する実験結果を示し,その理論を検証した。
論文 参考訳（メタデータ） (2020-02-08T22:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。