論文の概要: Asymptotic Statistical Analysis of $f$-divergence GAN

• arxiv url: http://arxiv.org/abs/2209.06853v1
• Date: Wed, 14 Sep 2022 18:08:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-16 12:29:49.638749
• Title: Asymptotic Statistical Analysis of $f$-divergence GAN
• Title（参考訳）: $f$-divergence GANの漸近統計的解析
• Authors: Xinwei Shen, Kani Chen, and Tong Zhang
• Abstract要約: GAN(Generative Adversarial Networks)は、データ生成において大きな成功を収めている。 GANの一般$f$-divergence定式化の統計的挙動を考察する。 得られた推定方法は、Adversarial Gradient Estimation (AGE)と呼ばれる。
• 参考スコア（独自算出の注目度）: 13.587087960403199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Adversarial Networks (GANs) have achieved great success in data generation. However, its statistical properties are not fully understood. In this paper, we consider the statistical behavior of the general $f$-divergence formulation of GAN, which includes the Kullback--Leibler divergence that is closely related to the maximum likelihood principle. We show that for parametric generative models that are correctly specified, all $f$-divergence GANs with the same discriminator classes are asymptotically equivalent under suitable regularity conditions. Moreover, with an appropriately chosen local discriminator, they become equivalent to the maximum likelihood estimate asymptotically. For generative models that are misspecified, GANs with different $f$-divergences {converge to different estimators}, and thus cannot be directly compared. However, it is shown that for some commonly used $f$-divergences, the original $f$-GAN is not optimal in that one can achieve a smaller asymptotic variance when the discriminator training in the original $f$-GAN formulation is replaced by logistic regression. The resulting estimation method is referred to as Adversarial Gradient Estimation (AGE). Empirical studies are provided to support the theory and to demonstrate the advantage of AGE over the original $f$-GANs under model misspecification.
• Abstract（参考訳）: generative adversarial networks (gans) はデータ生成において大きな成功を収めた。 しかし、その統計的性質は完全には理解されていない。 本稿では,最大極大原理に密接に関連するKulback-Leibler分散を含むGANの一般$f$-divergence定式化の統計的挙動について考察する。 正しく特定されたパラメトリック生成モデルの場合、同一の判別子クラスを持つすべての$f$-divergence gan は適切な正規性条件下で漸近同値である。 さらに、適切に選択された局所判別器により、それらは漸近的に最大確率推定と等価となる。 誤特定された生成モデルに対して、異なる$f$-divergences {converge to different estimator} を持つ GAN は直接比較できない。 しかし、よく使われる$f$-divergencesに対して、オリジナルの$f$-GANの定式化における判別器のトレーニングがロジスティック回帰に置き換えられたとき、オリジナルの$f$-GANはより小さな漸近分散を達成できるという点で最適ではないことが示されている。 得られた推定方法は、Adversarial Gradient Estimation (AGE)と呼ばれる。 この理論を裏付ける実証的研究が提供され、モデル不特定の下でのオリジナルの$f$-GANよりもAGEの利点を実証する。

関連論文リスト

• Concentration Inequalities for $(f,Γ)$-GANs [5.022028859839544]
  GAN(Generative Adversarial Network)は、ジェネレータ分布を訓練する教師なし学習手法である。 最近の研究は、積分確率測度(IPM)に基づくGANの統計的整合性(例えば、1-ワッサーシュタイン測度に基づくWGAN)を証明している。 非線形目的関数の使用を可能にする GAN のより大きなクラスは、$(f,Gamma)$-divergences を用いて構築することができる。
  論文  参考訳（メタデータ） (2024-06-24T17:42:03Z)
• The Curse of Memory in Stochastic Approximation: Extended Version [1.534667887016089]
  適応制御の初期から、制御システムコミュニティ内で近似の理論と応用が成長してきた。 近年の結果, (十分小さい) ステップサイズ$alpha>0$のSAの顕著な性能が確認されている。
  論文  参考訳（メタデータ） (2023-09-06T12:22:32Z)
• Distribution learning via neural differential equations: a nonparametric statistical perspective [1.4436965372953483]
  この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。 後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。 次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
  論文  参考訳（メタデータ） (2023-09-03T00:21:37Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Large Deviations for Classification Performance Analysis of Machine Learning Systems [16.74271332025289]
  適切な条件下では、sim expleft(-n,I + o(n) right)$, $I$はエラー率、$n$はテストで利用可能な観測回数である。 理論的な結果は、MNISTデータセットを使って最終的に検証される。
  論文  参考訳（メタデータ） (2023-01-16T10:48:12Z)
• On the Identifiability and Estimation of Causal Location-Scale Noise Models [122.65417012597754]
  位置スケール・異方性雑音モデル(LSNM)のクラスについて検討する。 症例によっては, 因果方向が同定可能であることが示唆された。 我々は,LSNMの2つの推定器を提案し,その1つは(非線形)特徴写像に基づく推定器と,1つはニューラルネットワークに基づく推定器を提案する。
  論文  参考訳（メタデータ） (2022-10-13T17:18:59Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator [85.68825725223873]
  GAN(Generative Adversarial Networks)は、高次元データのモデリングにおいて大きな可能性を秘めている。 本稿では,WGANの識別器の特性を活かした識別器コントラストの多様性について紹介する。 我々は、合成データと実世界の画像生成ベンチマークの両方において、大幅に改善された生成の利点を実証する。
  論文  参考訳（メタデータ） (2020-04-05T01:50:16Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。