論文の概要: Concentration Inequalities for $(f,Γ)$-GANs

• arxiv url: http://arxiv.org/abs/2406.16834v1
• Date: Mon, 24 Jun 2024 17:42:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 13:46:06.802906
• Title: Concentration Inequalities for $(f,Γ)$-GANs
• Title（参考訳）: $(f, )$-GAN の濃度不等式
• Authors: Jeremiah Birrell,
• Abstract要約: GAN(Generative Adversarial Network)は、ジェネレータ分布を訓練する教師なし学習手法である。 最近の研究は、積分確率測度(IPM)に基づくGANの統計的整合性(例えば、1-ワッサーシュタイン測度に基づくWGAN)を証明している。 非線形目的関数の使用を可能にする GAN のより大きなクラスは、$(f,Gamma)$-divergences を用いて構築することができる。
• 参考スコア（独自算出の注目度）: 5.022028859839544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative adversarial networks (GANs) are unsupervised learning methods for training a generator distribution to produce samples that approximate those drawn from a target distribution. Many such methods can be formulated as minimization of a metric or divergence. Recent works have proven the statistical consistency of GANs that are based on integral probability metrics (IPMs), e.g., WGAN which is based on the 1-Wasserstein metric. IPMs are defined by optimizing a linear functional (difference of expectations) over a space of discriminators. A much larger class of GANs, which allow for the use of nonlinear objective functionals, can be constructed using $(f,\Gamma)$-divergences; these generalize and interpolate between IPMs and $f$-divergences (e.g., KL or $\alpha$-divergences). Instances of $(f,\Gamma)$-GANs have been shown to exhibit improved performance in a number of applications. In this work we study the statistical consistency of $(f,\Gamma)$-GANs for general $f$ and $\Gamma$. Specifically, we derive finite-sample concentration inequalities. These derivations require novel arguments due to nonlinearity of the objective functional. We demonstrate that our new results reduce to the known results for IPM-GANs in the appropriate limit while also significantly extending the domain of applicability of this theory.
• Abstract（参考訳）: GAN(Generative Adversarial Network)は、ジェネレータ分布を訓練する教師なし学習手法である。 そのような方法の多くは、計量や発散の最小化として定式化することができる。 近年の研究では、積分確率測度(IPM)、例えば1-ワッサーシュタイン測度に基づくWGANに基づくGANの統計的一貫性が証明されている。 IPMは、微分器の空間上の線形汎函数(期待の差)を最適化することによって定義される。 より大きな GAN のクラスは、(f,\Gamma)$-divergences を用いて構成することができ、これらは IPM と $f$-divergences (例えば、KL や $\alpha$-divergences) の間の一般化と補間を行う。 $(f,\Gamma)$-GANのインスタンスは、多くのアプリケーションで改善されたパフォーマンスを示すことが示されている。 本研究では、一般の$f$と$\Gamma$に対する$(f,\Gamma)$-GANsの統計的一貫性について研究する。 具体的には、有限サンプル濃度の不等式を導出する。 これらの導出は、目的関数の非線形性による新しい議論を必要とする。 本研究は, IPM-GANs の既知値に対して, この理論の適用範囲を大幅に広げるとともに, 適切な限界を達成できることを実証する。

関連論文リスト

• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Idempotent Generative Network [61.78905138698094]
  本稿では,ニューラルネットワークを等質にトレーニングした生成モデリングのための新しい手法を提案する。 一等演算子は、初期アプリケーションを超えて結果を変更せずに順次適用できる演算子である。 ターゲット分布とソース分布の両方からの入力を処理することにより、モデルがターゲット多様体に完全に破損または修正されたデータを投影することがわかった。
  論文  参考訳（メタデータ） (2023-11-02T17:59:55Z)
• Addressing GAN Training Instabilities via Tunable Classification Losses [8.151943266391493]
  GAN(Generative Adversarial Network)は、形式的な保証付き合成データを生成する。 すべての対称$f$-発散は収束において同値であることを示す。 また,合成2次元ガウス混合環のトレーニング不安定性を緩和するために,$(alpha_D,alpha_G)$のチューニング値も強調する。
  論文  参考訳（メタデータ） (2023-10-27T17:29:07Z)
• $(\alpha_D,\alpha_G)$-GANs: Addressing GAN Training Instabilities via Dual Objectives [7.493779672689531]
  生成器(G)と識別器(D)に異なる値関数(対象物)を持つ2目的GANのクラスを導入する。 結果のゼロでない和ゲームは、$(alpha_D,alpha_G)$の適切な条件下での$f$-divergenceを最小化する。 合成2次元ガウス混合環とスタックドMNISTデータセットのトレーニング不安定性を緩和するために, チューニング $(alpha_D,alpha_G)$ の値を強調した。
  論文  参考訳（メタデータ） (2023-02-28T05:22:54Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• On counterfactual inference with unobserved confounding [36.18241676876348]
  独立だが不均一な単位を持つ観測的研究を前提として、各単位の反実分布を学習することが目的である。 我々は、すべての$n$サンプルをプールして、すべての$n$パラメータベクトルを共同で学習する凸目的を導入する。 対数的ソボレフ不等式を満たすためにコンパクトに支持された分布に対して十分な条件を導出する。
  論文  参考訳（メタデータ） (2022-11-14T04:14:37Z)
• On the Identifiability and Estimation of Causal Location-Scale Noise Models [122.65417012597754]
  位置スケール・異方性雑音モデル(LSNM)のクラスについて検討する。 症例によっては, 因果方向が同定可能であることが示唆された。 我々は,LSNMの2つの推定器を提案し,その1つは(非線形)特徴写像に基づく推定器と,1つはニューラルネットワークに基づく推定器を提案する。
  論文  参考訳（メタデータ） (2022-10-13T17:18:59Z)
• Asymptotic Statistical Analysis of $f$-divergence GAN [13.587087960403199]
  GAN(Generative Adversarial Networks)は、データ生成において大きな成功を収めている。 GANの一般$f$-divergence定式化の統計的挙動を考察する。 得られた推定方法は、Adversarial Gradient Estimation (AGE)と呼ばれる。
  論文  参考訳（メタデータ） (2022-09-14T18:08:37Z)
• Non-Gaussian Component Analysis via Lattice Basis Reduction [56.98280399449707]
  非ガウス成分分析(NGCA)は分布学習問題である。 我々は,NGCA に対して,$A$ が離散的あるいはほぼ離散的であるような効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-12-16T18:38:02Z)
• Convergence and Sample Complexity of SGD in GANs [15.25030172685628]
  SGDによるGAN(Generative Adversarial Networks)のトレーニングにおける収束保証を提供する。 我々は,非線形アクティベーション機能を持つ1層ジェネレータネットワークによってモデル化されたターゲット分布の学習を検討する。 この結果は、ReLUを含む幅広い非線形アクティベーション関数 $phi$ に適用され、切り離された統計との接続によって実現される。
  論文  参考訳（メタデータ） (2020-12-01T18:50:38Z)
• Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator [85.68825725223873]
  GAN(Generative Adversarial Networks)は、高次元データのモデリングにおいて大きな可能性を秘めている。 本稿では,WGANの識別器の特性を活かした識別器コントラストの多様性について紹介する。 我々は、合成データと実世界の画像生成ベンチマークの両方において、大幅に改善された生成の利点を実証する。
  論文  参考訳（メタデータ） (2020-04-05T01:50:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。