論文の概要: Instability and Local Minima in GAN Training with Kernel Discriminators

• arxiv url: http://arxiv.org/abs/2208.09938v1
• Date: Sun, 21 Aug 2022 18:03:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-23 13:54:10.991326
• Title: Instability and Local Minima in GAN Training with Kernel Discriminators
• Title（参考訳）: カーネル識別器を用いたGANトレーニングにおける不安定性と局所最小化
• Authors: Evan Becker, Parthe Pandit, Sundeep Rangan, Alyson K. Fletcher
• Abstract要約: GAN(Generative Adversarial Networks)は、複雑なデータの生成モデリングに広く使われているツールである。 実験的な成功にもかかわらず、ジェネレータと判別器のmin-max最適化のため、GANの訓練は十分には理解されていない。 本稿では、真のサンプルと生成されたサンプルが離散有限集合であり、判別器がカーネルベースである場合に、これらの関節力学を解析する。
• 参考スコア（独自算出の注目度）: 20.362912591032636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Adversarial Networks (GANs) are a widely-used tool for generative modeling of complex data. Despite their empirical success, the training of GANs is not fully understood due to the min-max optimization of the generator and discriminator. This paper analyzes these joint dynamics when the true samples, as well as the generated samples, are discrete, finite sets, and the discriminator is kernel-based. A simple yet expressive framework for analyzing training called the $\textit{Isolated Points Model}$ is introduced. In the proposed model, the distance between true samples greatly exceeds the kernel width, so each generated point is influenced by at most one true point. Our model enables precise characterization of the conditions for convergence, both to good and bad minima. In particular, the analysis explains two common failure modes: (i) an approximate mode collapse and (ii) divergence. Numerical simulations are provided that predictably replicate these behaviors.
• Abstract（参考訳）: generative adversarial networks (gans) は複雑なデータの生成モデリングに広く使われているツールである。 実験的な成功にもかかわらず、ジェネレータと判別器のmin-max最適化のため、GANの訓練は完全には理解されていない。 本稿では, 真のサンプルと生成したサンプルが離散有限集合であり, 判別器がカーネルベースである場合, それらのジョイントダイナミクスを解析する。 $\textit{Isolated Points Model}$と呼ばれるトレーニングを分析するためのシンプルな表現力のあるフレームワークを紹介します。 提案モデルでは,真の標本間の距離がカーネル幅を大きく超えるので,各生成点が少なくとも1つの真点に影響される。 本モデルにより, コンバージェンス条件を, 良くも悪くも正確に評価できる。 特に、分析では2つの一般的な障害モードを説明しています。 (i)近似モード崩壊と近似モード崩壊 (ii)多様化。 これらの挙動を予測的に再現する数値シミュレーションが提供される。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Statistically Optimal Generative Modeling with Maximum Deviation from the Empirical Distribution [2.1146241717926664]
  本稿では, 左非可逆なプッシュフォワード写像に制約されたワッサーシュタインGANが, 複製を回避し, 経験的分布から著しく逸脱する分布を生成することを示す。 我々の最も重要な寄与は、生成分布と経験的分布の間のワッサーシュタイン-1距離の有限サンプル下界を与える。 また、生成分布と真のデータ生成との距離に有限サンプル上限を確立する。
  論文  参考訳（メタデータ） (2023-07-31T06:11:57Z)
• Simple lessons from complex learning: what a neural network model learns about cosmic structure formation [7.270598539996841]
  我々は、宇宙論的N体シミュレーションの完全な位相空間進化を予測するためにニューラルネットワークモデルを訓練する。 本モデルでは, 非線形スケールでの精度を, COLAに対して有意な改善を示す$ksim 1 MathrmMpc-1, h$で達成する。
  論文  参考訳（メタデータ） (2022-06-09T15:41:09Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Understanding Double Descent Requires a Fine-Grained Bias-Variance Decomposition [34.235007566913396]
  ラベルに関連付けられた用語への分散の解釈可能で対称的な分解について述べる。 バイアスはネットワーク幅とともに単調に減少するが、分散項は非単調な振る舞いを示す。 我々はまた、著しく豊かな現象論も分析する。
  論文  参考訳（メタデータ） (2020-11-04T21:04:02Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。