論文の概要: On Duality Gap as a Measure for Monitoring GAN Training

• arxiv url: http://arxiv.org/abs/2012.06723v1
• Date: Sat, 12 Dec 2020 04:32:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-10 05:27:18.509439
• Title: On Duality Gap as a Measure for Monitoring GAN Training
• Title（参考訳）: GANトレーニングのモニタリング手段としての二重性ギャップについて
• Authors: Sahil Sidheekh, Aroof Aimen, Vineet Madan, Narayanan C. Krishnan
• Abstract要約: GAN(Generative adversarial Network)は、複雑なデータ分散を学習するための最もポピュラーなディープラーニングモデルのひとつです。 本稿では,この制限を理論的に理解し,双対性ギャップに対するより信頼性の高い推定法を提案する。
• 参考スコア（独自算出の注目度）: 2.733700237741334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative adversarial network (GAN) is among the most popular deep learning models for learning complex data distributions. However, training a GAN is known to be a challenging task. This is often attributed to the lack of correlation between the training progress and the trajectory of the generator and discriminator losses and the need for the GAN's subjective evaluation. A recently proposed measure inspired by game theory - the duality gap, aims to bridge this gap. However, as we demonstrate, the duality gap's capability remains constrained due to limitations posed by its estimation process. This paper presents a theoretical understanding of this limitation and proposes a more dependable estimation process for the duality gap. At the crux of our approach is the idea that local perturbations can help agents in a zero-sum game escape non-Nash saddle points efficiently. Through exhaustive experimentation across GAN models and datasets, we establish the efficacy of our approach in capturing the GAN training progress with minimal increase to the computational complexity. Further, we show that our estimate, with its ability to identify model convergence/divergence, is a potential performance measure that can be used to tune the hyperparameters of a GAN.
• Abstract（参考訳）: generative adversarial network(gan)は、複雑なデータ分布を学習するための最も人気のあるディープラーニングモデルの一つである。 しかし、GANのトレーニングは難しい課題であることが知られている。 これはしばしば、訓練の進行とジェネレータの軌道と識別器の損失との相関の欠如と、GANの主観的評価の必要性によるものである。 ゲーム理論に触発された最近提案された双対性ギャップは、このギャップを橋渡しすることを目的としている。 しかし,本実験で示すように,双対性ギャップの能力は,その推定過程によって生じる制約により制約されている。 本稿では,この制限を理論的に理解し,双対性ギャップに対するより信頼性の高い推定法を提案する。 我々のアプローチの要点は、局所摂動はゼロサムゲームのエージェントが非ナッシュサドルポイントを効率的に逃がすのに役立つという考えである。 GANモデルとデータセットの総合的な実験を通じて、計算複雑性を最小限に抑えて、GANトレーニングの進捗を捉えるためのアプローチの有効性を確立する。 さらに、モデル収束/偏差を同定する能力を持つ推定法は、GANのハイパーパラメータを調整できる潜在的な性能指標であることを示す。

関連論文リスト

• Doubly Robust Causal Effect Estimation under Networked Interference via Targeted Learning [24.63284452991301]
  ネットワーク干渉下での2つの頑健な因果効果推定器を提案する。 具体的には,対象とする学習手法をネットワーク干渉設定に一般化する。 我々は、同定された理論条件を目標損失に変換することによって、エンドツーエンドの因果効果推定器を考案する。
  論文  参考訳（メタデータ） (2024-05-06T10:49:51Z)
• Neural Network Approximation for Pessimistic Offline Reinforcement Learning [17.756108291816908]
  一般ニューラルネットワーク近似を用いた悲観的オフラインRLの非漸近的推定誤差を提案する。 その結果, 推定誤差は2つの部分から構成されることがわかった。第1は, 部分的に制御可能な集束率でサンプルサイズに所望の速度で0に収束し, 第2は残留制約が厳密であれば無視可能である。
  論文  参考訳（メタデータ） (2023-12-19T05:17:27Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Distributional Shift-Aware Off-Policy Interval Estimation: A Unified Error Quantification Framework [8.572441599469597]
  本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。 目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。 提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
  論文  参考訳（メタデータ） (2023-09-23T06:35:44Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Characterizing GAN Convergence Through Proximal Duality Gap [3.0724051098062097]
  理論上は、近似双対性ギャップは、より広い平衡スペクトルへのGANの収束を監視することができることを示した。 また, 近似双対性ギャップと実データ分布と生成データ分布のばらつきの関係を, GANの異なる定式化に対して確立する。
  論文  参考訳（メタデータ） (2021-05-11T06:27:27Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。