論文の概要: Empirical Analysis of Overfitting and Mode Drop in GAN Training
- arxiv url: http://arxiv.org/abs/2006.14265v1
- Date: Thu, 25 Jun 2020 09:17:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 02:46:33.472342
- Title: Empirical Analysis of Overfitting and Mode Drop in GAN Training
- Title(参考訳): GANトレーニングにおけるオーバーフィッティングとモードドロップの実証分析
- Authors: Yasin Yazici, Chuan-Sheng Foo, Stefan Winkler, Kim-Hui Yap, Vijay
Chandrasekhar
- Abstract要約: トレーニング手順から直感性を取り除いた場合、GANは過度に適合し、ほとんどモードドロップを示さないことを示す。
また、GANがトレーニングセットを記憶していないことや、モデムの減少はトレーニング中にどのように最適化されているかというよりも、GANの目的の性質に起因しているという証拠も提示されている。
- 参考スコア(独自算出の注目度): 25.735209187154407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We examine two key questions in GAN training, namely overfitting and mode
drop, from an empirical perspective. We show that when stochasticity is removed
from the training procedure, GANs can overfit and exhibit almost no mode drop.
Our results shed light on important characteristics of the GAN training
procedure. They also provide evidence against prevailing intuitions that GANs
do not memorize the training set, and that mode dropping is mainly due to
properties of the GAN objective rather than how it is optimized during
training.
- Abstract(参考訳): GANトレーニングにおける2つの重要な質問、すなわち過剰適合とモードドロップを経験的観点から検討する。
トレーニング手順から確率性を取り除いた場合、GANは過度に適合し、ほとんどモードドロップを示さないことを示す。
以上の結果から,gan訓練手順の重要な特徴を明らかにした。
また、GANがトレーニングセットを記憶していないという一般的な直観や、モデムの減少は主にトレーニング中にどのように最適化されているかというよりも、GANの目的の性質によるものであるという証拠も提示されている。
関連論文リスト
- End-to-End Training Induces Information Bottleneck through Layer-Role
Differentiation: A Comparative Analysis with Layer-wise Training [40.5401272453009]
エンド・ツー・エンド(E2E)トレーニングでは、エラーのバックプロパゲーションを通じてモデル全体を最適化し、ディープラーニングの進歩を根本的に支援する。
E2E訓練のパフォーマンスにはまだ一致しないため、実用性に乏しい。
本稿では,エラーを局所的に設定する非E2E手法であるレイヤワイドトレーニングとの比較により,E2Eトレーニングが優れた性能を示す理由を再考する。
論文 参考訳(メタデータ) (2024-02-14T09:46:53Z) - Towards Accurate Guided Diffusion Sampling through Symplectic Adjoint
Method [110.9458914721516]
本研究では,2つの段階の勾配誘導を算出したSymphlectic Adjoint Guidance (SAG)を提案する。
SAGは、ガイド画像およびビデオ生成タスクのベースラインと比較して画質の高い画像を生成する。
論文 参考訳(メタデータ) (2023-12-19T10:30:31Z) - Understanding and Mitigating Overfitting in Prompt Tuning for
Vision-Language Models [108.13378788663196]
本稿では, トレーニング過程全体において, 低ランク部分空間にバックプロパゲーションの勾配を投影するSubspace Prompt Tuning(SubPT)を提案する。
我々はCoOpにノベル・ラーナー・フィーチャー(NFL)を装備し、学習したプロンプトをトレーニングセット以外の新しいカテゴリに一般化する能力を高める。
論文 参考訳(メタデータ) (2022-11-04T02:06:22Z) - When, Why, and Which Pretrained GANs Are Useful? [33.47417595159493]
我々は,事前訓練されたチェックポイントによるGANトレーニングプロセスの初期化が,個々のサンプルの忠実度よりもモデルのカバレッジに影響を及ぼすことを示す。
対象タスクの微調整に最も適した適切なGANチェックポイントを選択するための簡単なレシピを述べる。
論文 参考訳(メタデータ) (2022-02-17T23:38:01Z) - Collapse by Conditioning: Training Class-conditional GANs with Limited
Data [109.30895503994687]
非条件学習を活用することにより、観測モード崩壊を効果的に防止する条件付きGAN(cGAN)のトレーニング戦略を提案する。
我々のトレーニング戦略は、無条件のGANから始まり、徐々に条件情報をジェネレータと目的関数に注入する。
安定したトレーニングだけでなく,高品質な画像を生成するために,限られたデータでcGANを訓練する手法を提案する。
論文 参考訳(メタデータ) (2022-01-17T18:59:23Z) - Convergence of GANs Training: A Game and Stochastic Control Methodology [4.933916728941277]
GAN(Generative Adversarial Network)の訓練は、その収束の困難さで知られている。
本稿ではまず,GANの目的関数における凸性の欠如を確かめる。
特に、目的関数の凸度に依存する適応学習率の最適解を示す。
論文 参考訳(メタデータ) (2021-12-01T01:52:23Z) - Towards Interpreting and Mitigating Shortcut Learning Behavior of NLU
models [53.36605766266518]
訓練されたNLUモデルは、長尾分布の先頭に位置する特徴を強く好んでいることを示す。
本研究では,ショートカット度の高いサンプルに対する過信予測を抑えるためのショートカット緩和フレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-11T19:39:56Z) - Training Generative Adversarial Networks by Solving Ordinary
Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。
この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。
本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文 参考訳(メタデータ) (2020-10-28T15:23:49Z) - Bayesian Sampling Bias Correction: Training with the Right Loss Function [0.0]
我々は、サンプリングバイアスの存在下でモデルを訓練するために損失関数の族を導出する。
例えば、病理の頻度がトレーニングデータセットのサンプリングレートと異なる場合や、マシンラーニングの実践者がトレーニングデータセットを再バランスする場合などだ。
論文 参考訳(メタデータ) (2020-06-24T15:10:43Z) - Improving GAN Training with Probability Ratio Clipping and Sample
Reweighting [145.5106274085799]
GAN(Generative Adversarial Network)は、不安定なトレーニングにより性能が低下することが多い。
本稿では,より優れたトレーニング安定性を享受する新しい変分GANトレーニングフレームワークを提案する。
多様な最先端のGANアーキテクチャにトレーニングアプローチを組み込むことで、幅広いタスクに対して大幅な性能向上を実現した。
論文 参考訳(メタデータ) (2020-06-12T01:39:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。