論文の概要: Concentration Inequalities for $(f,Γ)$-GANs

• arxiv url: http://arxiv.org/abs/2406.16834v1
• Date: Mon, 24 Jun 2024 17:42:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 13:46:06.802906
• Title: Concentration Inequalities for $(f,Γ)$-GANs
• Title（参考訳）: $(f, )$-GAN の濃度不等式
• Authors: Jeremiah Birrell,
• Abstract要約: GAN(Generative Adversarial Network)は、ジェネレータ分布を訓練する教師なし学習手法である。 最近の研究は、積分確率測度(IPM)に基づくGANの統計的整合性(例えば、1-ワッサーシュタイン測度に基づくWGAN)を証明している。 非線形目的関数の使用を可能にする GAN のより大きなクラスは、$(f,Gamma)$-divergences を用いて構築することができる。
• 参考スコア（独自算出の注目度）: 5.022028859839544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative adversarial networks (GANs) are unsupervised learning methods for training a generator distribution to produce samples that approximate those drawn from a target distribution. Many such methods can be formulated as minimization of a metric or divergence. Recent works have proven the statistical consistency of GANs that are based on integral probability metrics (IPMs), e.g., WGAN which is based on the 1-Wasserstein metric. IPMs are defined by optimizing a linear functional (difference of expectations) over a space of discriminators. A much larger class of GANs, which allow for the use of nonlinear objective functionals, can be constructed using $(f,\Gamma)$-divergences; these generalize and interpolate between IPMs and $f$-divergences (e.g., KL or $\alpha$-divergences). Instances of $(f,\Gamma)$-GANs have been shown to exhibit improved performance in a number of applications. In this work we study the statistical consistency of $(f,\Gamma)$-GANs for general $f$ and $\Gamma$. Specifically, we derive finite-sample concentration inequalities. These derivations require novel arguments due to nonlinearity of the objective functional. We demonstrate that our new results reduce to the known results for IPM-GANs in the appropriate limit while also significantly extending the domain of applicability of this theory.
• Abstract（参考訳）: GAN(Generative Adversarial Network)は、ジェネレータ分布を訓練する教師なし学習手法である。 そのような方法の多くは、計量や発散の最小化として定式化することができる。 近年の研究では、積分確率測度(IPM)、例えば1-ワッサーシュタイン測度に基づくWGANに基づくGANの統計的一貫性が証明されている。 IPMは、微分器の空間上の線形汎函数(期待の差)を最適化することによって定義される。 より大きな GAN のクラスは、(f,\Gamma)$-divergences を用いて構成することができ、これらは IPM と $f$-divergences (例えば、KL や $\alpha$-divergences) の間の一般化と補間を行う。 $(f,\Gamma)$-GANのインスタンスは、多くのアプリケーションで改善されたパフォーマンスを示すことが示されている。 本研究では、一般の$f$と$\Gamma$に対する$(f,\Gamma)$-GANsの統計的一貫性について研究する。 具体的には、有限サンプル濃度の不等式を導出する。 これらの導出は、目的関数の非線形性による新しい議論を必要とする。 本研究は, IPM-GANs の既知値に対して, この理論の適用範囲を大幅に広げるとともに, 適切な限界を達成できることを実証する。

関連論文リスト

• Idempotent Generative Network [61.78905138698094]
  本稿では,ニューラルネットワークを等質にトレーニングした生成モデリングのための新しい手法を提案する。 一等演算子は、初期アプリケーションを超えて結果を変更せずに順次適用できる演算子である。 ターゲット分布とソース分布の両方からの入力を処理することにより、モデルがターゲット多様体に完全に破損または修正されたデータを投影することがわかった。
  論文  参考訳（メタデータ） (2023-11-02T17:59:55Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• On counterfactual inference with unobserved confounding [36.18241676876348]
  独立だが不均一な単位を持つ観測的研究を前提として、各単位の反実分布を学習することが目的である。 我々は、すべての$n$サンプルをプールして、すべての$n$パラメータベクトルを共同で学習する凸目的を導入する。 対数的ソボレフ不等式を満たすためにコンパクトに支持された分布に対して十分な条件を導出する。
  論文  参考訳（メタデータ） (2022-11-14T04:14:37Z)
• Asymptotic Statistical Analysis of $f$-divergence GAN [13.587087960403199]
  GAN(Generative Adversarial Networks)は、データ生成において大きな成功を収めている。 GANの一般$f$-divergence定式化の統計的挙動を考察する。 得られた推定方法は、Adversarial Gradient Estimation (AGE)と呼ばれる。
  論文  参考訳（メタデータ） (2022-09-14T18:08:37Z)
• $\alpha$-GAN: Convergence and Estimation Guarantees [7.493779672689531]
  一般CPE損失関数 GAN の min-max 最適化と、関連する$f$-divergences の最小化との対応性を証明する。 次に、$alpha$-GAN を $alpha$-loss で定義し、いくつかの GAN を補間し、有元発散の最小化に対応する。
  論文  参考訳（メタデータ） (2022-05-12T23:26:51Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Convergence and Sample Complexity of SGD in GANs [15.25030172685628]
  SGDによるGAN(Generative Adversarial Networks)のトレーニングにおける収束保証を提供する。 我々は,非線形アクティベーション機能を持つ1層ジェネレータネットワークによってモデル化されたターゲット分布の学習を検討する。 この結果は、ReLUを含む幅広い非線形アクティベーション関数 $phi$ に適用され、切り離された統計との接続によって実現される。
  論文  参考訳（メタデータ） (2020-12-01T18:50:38Z)
• Learning to extrapolate using continued fractions: Predicting the critical temperature of superconductor materials [5.905364646955811]
  人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。 トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
  論文  参考訳（メタデータ） (2020-11-27T04:57:40Z)
• Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator [85.68825725223873]
  GAN(Generative Adversarial Networks)は、高次元データのモデリングにおいて大きな可能性を秘めている。 本稿では,WGANの識別器の特性を活かした識別器コントラストの多様性について紹介する。 我々は、合成データと実世界の画像生成ベンチマークの両方において、大幅に改善された生成の利点を実証する。
  論文  参考訳（メタデータ） (2020-04-05T01:50:16Z)
• Your GAN is Secretly an Energy-based Model and You Should use Discriminator Driven Latent Sampling [106.68533003806276]
  本研究では,潜時空間におけるサンプリングは,潜時空間の前対数密度と判別器出力スコアの和によって誘導されるエネルギーベースモデルに従って,潜時空間におけるサンプリングを行うことによって達成できることを示す。 判別器駆動潜時サンプリング(DDLS)は,高次元画素空間で動作する従来の手法と比較して,高効率であることを示す。
  論文  参考訳（メタデータ） (2020-03-12T23:33:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。