論文の概要: Least $k$th-Order and R\'{e}nyi Generative Adversarial Networks
- arxiv url: http://arxiv.org/abs/2006.02479v3
- Date: Thu, 11 Mar 2021 23:37:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 17:45:48.562820
- Title: Least $k$th-Order and R\'{e}nyi Generative Adversarial Networks
- Title（参考訳）: 最小$k$th-orderとR\'{e}nyi生成逆ネットワーク
- Authors: Himesh Bhatia, William Paul, Fady Alajaji, Bahman Gharesifard,
Philippe Burlina
- Abstract要約: 実験結果から,MNISTデータセットとCelebAデータセットに適用した損失関数は,それぞれ$k$と$alpha$のパラメータによって提供される余分な自由度により,性能上のメリットが期待できることがわかった。
本研究は GAN に適用されているが,提案手法は汎用的であり,情報理論の他の応用例,例えば人工知能における公正性やプライバシの問題などに応用することができる。
- 参考スコア（独自算出の注目度）: 12.13405065406781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the use of parametrized families of information-theoretic
measures to generalize the loss functions of generative adversarial networks
(GANs) with the objective of improving performance. A new generator loss
function, called least $k$th-order GAN (L$k$GAN), is first introduced,
generalizing the least squares GANs (LSGANs) by using a $k$th order absolute
error distortion measure with $k \geq 1$ (which recovers the LSGAN loss
function when $k=2$). It is shown that minimizing this generalized loss
function under an (unconstrained) optimal discriminator is equivalent to
minimizing the $k$th-order Pearson-Vajda divergence. Another novel GAN
generator loss function is next proposed in terms of R\'{e}nyi cross-entropy
functionals with order $\alpha >0$, $\alpha\neq 1$. It is demonstrated that
this R\'{e}nyi-centric generalized loss function, which provably reduces to the
original GAN loss function as $\alpha\to1$, preserves the equilibrium point
satisfied by the original GAN based on the Jensen-R\'{e}nyi divergence, a
natural extension of the Jensen-Shannon divergence.
Experimental results indicate that the proposed loss functions, applied to
the MNIST and CelebA datasets, under both DCGAN and StyleGAN architectures,
confer performance benefits by virtue of the extra degrees of freedom provided
by the parameters $k$ and $\alpha$, respectively. More specifically,
experiments show improvements with regard to the quality of the generated
images as measured by the Fr\'echet Inception Distance (FID) score and training
stability. While it was applied to GANs in this study, the proposed approach is
generic and can be used in other applications of information theory to deep
learning, e.g., the issues of fairness or privacy in artificial intelligence.
- Abstract（参考訳）: 本研究では,情報理論のパラメトリズド・ファミリを用いて,ジェネラティブ・アドバーサリー・ネットワーク(gans)の損失関数を性能向上のために一般化する。
新たなジェネレータ損失関数である最小$k$th-order GAN (L$k$GAN) が最初に導入され、$k$geq 1$($k=2$のときにLSGAN損失関数を回復する)で$k$thの絶対誤差歪み尺度を用いて最小二乗 GAN (LSGAN) を一般化する。
この一般化損失関数を(制約のない)最適判別器の下で最小化することは、$k$2次ピアソン・ヴァジダの発散を最小化することと同値である。
もう一つの新しいgan生成器損失関数は次が r\'{e}nyi のクロスエントロピー汎関数であり、次は $\alpha >0$, $\alpha\neq 1$ である。
この R\'{e}nyi 中心の一般化された損失函数は、Jensen-R\'{e}nyi の発散の自然な拡張であるJensen-Shannon の発散に基づいて、元の GAN が満たす平衡点を$\alpha\to1$として証明的に減少させる。
実験の結果,提案した損失関数は,DCGANおよびStyleGANアーキテクチャの下でMNISTおよびCelebAデータセットに適用され,それぞれ$k$と$\alpha$のパラメータによって提供される余分な自由度により,性能上のメリットが期待できることがわかった。
具体的には、Fr'echet Inception Distance(FID)スコアとトレーニング安定性によって測定された、生成された画像の品質に関する改善を示す。
本研究はgansに適用されたが,提案手法は汎用的であり,人工知能における公平性やプライバシの問題など,深層学習における情報理論の他の応用にも応用できる。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Addressing GAN Training Instabilities via Tunable Classification Losses [8.151943266391493]
GAN(Generative Adversarial Network)は、形式的な保証付き合成データを生成する。
すべての対称$f$-発散は収束において同値であることを示す。
また,合成2次元ガウス混合環のトレーニング不安定性を緩和するために,$(alpha_D,alpha_G)$のチューニング値も強調する。
論文 参考訳（メタデータ） (2023-10-27T17:29:07Z) - A Unifying Generator Loss Function for Generative Adversarial Networks [5.5575224613422725]
二重目的生成逆数ネットワーク(GAN)に対する$alpha$-parametrized generator loss関数の導入
ジェネレータ損失関数は対称クラス確率推定型関数である$mathcalL_alpha$に基づいており、その結果のGANシステムは$mathcalL_alpha$-GANと呼ばれる。
論文 参考訳（メタデータ） (2023-08-14T16:16:31Z) - Provably Efficient Offline Reinforcement Learning with Trajectory-Wise
Reward [66.81579829897392]
我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。
PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。
私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
論文 参考訳（メタデータ） (2022-06-13T19:11:22Z) - $\alpha$-GAN: Convergence and Estimation Guarantees [7.493779672689531]
一般CPE損失関数 GAN の min-max 最適化と、関連する$f$-divergences の最小化との対応性を証明する。
次に、$alpha$-GAN を $alpha$-loss で定義し、いくつかの GAN を補間し、有元発散の最小化に対応する。
論文 参考訳（メタデータ） (2022-05-12T23:26:51Z) - Realizing GANs via a Tunable Loss Function [7.455546102930911]
我々は$alpha$-GAN と呼ばれる調整可能な GAN を導入し、$alpha in (0,infty]$ でパラメータ化する。
その結果,$alpha$-GANは有本発散と密接に関連していることがわかった。
論文 参考訳（メタデータ） (2021-06-09T17:18:21Z) - Self Sparse Generative Adversarial Networks [73.590634413751]
GAN(Generative Adversarial Networks)は、敵対的トレーニングを通じてデータ分布を学習する監視されていない生成モデルである。
本論文では,パラメータ空間を小さくし,ゼロ勾配問題を軽減するSelf Sparse Generative Adversarial Network (Self-Sparse GAN)を提案する。
論文 参考訳（メタデータ） (2021-01-26T04:49:12Z) - Cumulant GAN [17.4556035872983]
GAN(Generative Adversarial Networks)を学習するための新しい損失関数を提案する。
対応する最適化問題は R'enyi divergence minimization と同値であることを示す。
我々は,画像生成がWasserstein GANに対してより堅牢であることを実験的に実証した。
論文 参考訳（メタデータ） (2020-06-11T17:23:02Z) - Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling
by Exploring Energy of the Discriminator [85.68825725223873]
GAN(Generative Adversarial Networks)は、高次元データのモデリングにおいて大きな可能性を秘めている。
本稿では,WGANの識別器の特性を活かした識別器コントラストの多様性について紹介する。
我々は、合成データと実世界の画像生成ベンチマークの両方において、大幅に改善された生成の利点を実証する。
論文 参考訳（メタデータ） (2020-04-05T01:50:16Z) - Gaussian Error Linear Units (GELUs) [58.195342948092964]
本稿では,入力の重み付けを行うニューラルネットワークアクティベーション関数を提案する。
コンピュータビジョン、自然言語処理、音声タスクのすべてにおいて、パフォーマンスが改善されている。
論文 参考訳（メタデータ） (2016-06-27T19:20:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。