論文の概要: Characterizing GAN Convergence Through Proximal Duality Gap

• arxiv url: http://arxiv.org/abs/2105.04801v1
• Date: Tue, 11 May 2021 06:27:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-12 14:07:28.265062
• Title: Characterizing GAN Convergence Through Proximal Duality Gap
• Title（参考訳）: 準双対ギャップによるGAN収束特性
• Authors: Sahil Sidheekh, Aroof Aimen, Narayanan C. Krishnan
• Abstract要約: 理論上は、近似双対性ギャップは、より広い平衡スペクトルへのGANの収束を監視することができることを示した。 また, 近似双対性ギャップと実データ分布と生成データ分布のばらつきの関係を, GANの異なる定式化に対して確立する。
• 参考スコア（独自算出の注目度）: 3.0724051098062097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the accomplishments of Generative Adversarial Networks (GANs) in modeling data distributions, training them remains a challenging task. A contributing factor to this difficulty is the non-intuitive nature of the GAN loss curves, which necessitates a subjective evaluation of the generated output to infer training progress. Recently, motivated by game theory, duality gap has been proposed as a domain agnostic measure to monitor GAN training. However, it is restricted to the setting when the GAN converges to a Nash equilibrium. But GANs need not always converge to a Nash equilibrium to model the data distribution. In this work, we extend the notion of duality gap to proximal duality gap that is applicable to the general context of training GANs where Nash equilibria may not exist. We show theoretically that the proximal duality gap is capable of monitoring the convergence of GANs to a wider spectrum of equilibria that subsumes Nash equilibria. We also theoretically establish the relationship between the proximal duality gap and the divergence between the real and generated data distributions for different GAN formulations. Our results provide new insights into the nature of GAN convergence. Finally, we validate experimentally the usefulness of proximal duality gap for monitoring and influencing GAN training.
• Abstract（参考訳）: データ分散のモデリングにおけるGAN(Generative Adversarial Networks)の成果にもかかわらず、それらをトレーニングすることは依然として難しい課題である。 この困難に寄与する要因は、GAN損失曲線の直観的でない性質であり、これはトレーニングの進捗を推測するために生成された出力の主観的な評価を必要とする。 近年、ゲーム理論に動機付けられ、GANトレーニングを監視するための領域に依存しない尺度として双対性ギャップが提案されている。 しかし、GANがナッシュ平衡に収束するときの設定に制限される。 しかし、ganは必ずしもデータ分布をモデル化するためにnash平衡に収束する必要はない。 本研究では,nash平衡が存在しないgans訓練の一般的な文脈に適用可能な近近双対性ギャップへの双対性ギャップの概念を拡張する。 理論的には、近近双対性ギャップはganの収束をnash平衡を仮定するより広い平衡スペクトルにモニターすることができる。 また理論上は, 近近双対性ギャップと, 実データ分布と生成データ分布との差との関係を, 異なるgan定式化に対して確立する。 本結果は, GAN収束の性質に関する新たな知見を提供する。 最後に,GANトレーニングの監視および影響に対する近位双対性ギャップの有用性を実験的に検証した。

関連論文リスト

• On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
  Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。 実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
  論文  参考訳（メタデータ） (2024-10-10T15:34:10Z)
• Conjugate Gradient Method for Generative Adversarial Networks [0.0]
  深層ニューラルネットワークモデルの密度関数と密度関数のJensen-Shannon分散を計算することは不可能である。 GAN(Generative Adversarial Network)は、この問題をジェネレータと識別器という2つのモデルで識別する問題として定式化することができる。 本稿では,GANの局所的なナッシュ平衡問題の解法として共役勾配法を提案する。
  論文  参考訳（メタデータ） (2022-03-28T04:44:45Z)
• On the Nash equilibrium of moment-matching GANs for stationary Gaussian processes [2.25477613430341]
  我々は、一貫したナッシュ均衡の存在は、判別器ファミリーの選択に大きく依存していることを示す。 さらに、一貫した平衡に向けた勾配降下法における局所安定性と大域収束について検討する。
  論文  参考訳（メタデータ） (2022-03-14T14:30:23Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
  トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。 このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。 本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-20T18:57:18Z)
• Non-Asymptotic Error Bounds for Bidirectional GANs [10.62911757343557]
  ダドリー距離下での双方向GAN(BiGAN)推定誤差に対して,ほぼ鋭い境界を求める。 これは、双方向GAN学習アプローチに対する最初の理論的保証である。
  論文  参考訳（メタデータ） (2021-10-24T00:12:03Z)
• On Duality Gap as a Measure for Monitoring GAN Training [2.733700237741334]
  GAN(Generative adversarial Network)は、複雑なデータ分散を学習するための最もポピュラーなディープラーニングモデルのひとつです。 本稿では,この制限を理論的に理解し,双対性ギャップに対するより信頼性の高い推定法を提案する。
  論文  参考訳（メタデータ） (2020-12-12T04:32:52Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)
• Cumulant GAN [17.4556035872983]
  GAN(Generative Adversarial Networks)を学習するための新しい損失関数を提案する。 対応する最適化問題は R'enyi divergence minimization と同値であることを示す。 我々は,画像生成がWasserstein GANに対してより堅牢であることを実験的に実証した。
  論文  参考訳（メタデータ） (2020-06-11T17:23:02Z)
• Global Distance-distributions Separation for Unsupervised Person Re-identification [93.39253443415392]
  既存の教師なしのReIDアプローチは、距離ベースのマッチング/ランク付けを通じて正のサンプルと負のサンプルを正しく識別するのに失敗することが多い。 本研究では,2つの分布に対する大域的距離分布分離の制約を導入し,大域的視点から正と負のサンプルを明確に分離することを奨励する。 本研究では,本手法がベースラインを大幅に改善し,最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2020-06-01T07:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。