Fugu-MT 論文翻訳(概要): Empirical Analysis of Overfitting and Mode Drop in GAN Training

論文の概要: Empirical Analysis of Overfitting and Mode Drop in GAN Training

arxiv url: http://arxiv.org/abs/2006.14265v1
Date: Thu, 25 Jun 2020 09:17:32 GMT
ステータス: 処理完了
システム内更新日: 2022-11-17 02:46:33.472342
Title: Empirical Analysis of Overfitting and Mode Drop in GAN Training
Title（参考訳）: GANトレーニングにおけるオーバーフィッティングとモードドロップの実証分析
Authors: Yasin Yazici, Chuan-Sheng Foo, Stefan Winkler, Kim-Hui Yap, Vijay Chandrasekhar
Abstract要約: トレーニング手順から直感性を取り除いた場合、GANは過度に適合し、ほとんどモードドロップを示さないことを示す。また、GANがトレーニングセットを記憶していないことや、モデムの減少はトレーニング中にどのように最適化されているかというよりも、GANの目的の性質に起因しているという証拠も提示されている。
参考スコア（独自算出の注目度）: 25.735209187154407
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We examine two key questions in GAN training, namely overfitting and mode drop, from an empirical perspective. We show that when stochasticity is removed from the training procedure, GANs can overfit and exhibit almost no mode drop. Our results shed light on important characteristics of the GAN training procedure. They also provide evidence against prevailing intuitions that GANs do not memorize the training set, and that mode dropping is mainly due to properties of the GAN objective rather than how it is optimized during training.
Abstract（参考訳）: GANトレーニングにおける2つの重要な質問、すなわち過剰適合とモードドロップを経験的観点から検討する。トレーニング手順から確率性を取り除いた場合、GANは過度に適合し、ほとんどモードドロップを示さないことを示す。以上の結果から,gan訓練手順の重要な特徴を明らかにした。また、GANがトレーニングセットを記憶していないという一般的な直観や、モデムの減少は主にトレーニング中にどのように最適化されているかというよりも、GANの目的の性質によるものであるという証拠も提示されている。

関連論文リスト

Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
論文参考訳（メタデータ） (2024-10-09T14:34:53Z)
Unmasking Bias in Diffusion Model Training [40.90066994983719]
拡散モデルが画像生成の主流のアプローチとして登場した。トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
論文参考訳（メタデータ） (2023-10-12T16:04:41Z)
Understanding and Mitigating Overfitting in Prompt Tuning for Vision-Language Models [108.13378788663196]
本稿では, トレーニング過程全体において, 低ランク部分空間にバックプロパゲーションの勾配を投影するSubspace Prompt Tuning(SubPT)を提案する。我々はCoOpにノベル・ラーナー・フィーチャー(NFL)を装備し、学習したプロンプトをトレーニングセット以外の新しいカテゴリに一般化する能力を高める。
論文参考訳（メタデータ） (2022-11-04T02:06:22Z)
When, Why, and Which Pretrained GANs Are Useful? [33.47417595159493]
我々は,事前訓練されたチェックポイントによるGANトレーニングプロセスの初期化が,個々のサンプルの忠実度よりもモデルのカバレッジに影響を及ぼすことを示す。対象タスクの微調整に最も適した適切なGANチェックポイントを選択するための簡単なレシピを述べる。
論文参考訳（メタデータ） (2022-02-17T23:38:01Z)
Collapse by Conditioning: Training Class-conditional GANs with Limited Data [109.30895503994687]
非条件学習を活用することにより、観測モード崩壊を効果的に防止する条件付きGAN(cGAN)のトレーニング戦略を提案する。我々のトレーニング戦略は、無条件のGANから始まり、徐々に条件情報をジェネレータと目的関数に注入する。安定したトレーニングだけでなく,高品質な画像を生成するために,限られたデータでcGANを訓練する手法を提案する。
論文参考訳（メタデータ） (2022-01-17T18:59:23Z)
Convergence of GANs Training: A Game and Stochastic Control Methodology [4.933916728941277]
GAN(Generative Adversarial Network)の訓練は、その収束の困難さで知られている。本稿ではまず,GANの目的関数における凸性の欠如を確かめる。特に、目的関数の凸度に依存する適応学習率の最適解を示す。
論文参考訳（メタデータ） (2021-12-01T01:52:23Z)
Towards Interpreting and Mitigating Shortcut Learning Behavior of NLU models [53.36605766266518]
訓練されたNLUモデルは、長尾分布の先頭に位置する特徴を強く好んでいることを示す。本研究では,ショートカット度の高いサンプルに対する過信予測を抑えるためのショートカット緩和フレームワークを提案する。
論文参考訳（メタデータ） (2021-03-11T19:39:56Z)
Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文参考訳（メタデータ） (2020-10-28T15:23:49Z)
Bayesian Sampling Bias Correction: Training with the Right Loss Function [0.0]
我々は、サンプリングバイアスの存在下でモデルを訓練するために損失関数の族を導出する。例えば、病理の頻度がトレーニングデータセットのサンプリングレートと異なる場合や、マシンラーニングの実践者がトレーニングデータセットを再バランスする場合などだ。
論文参考訳（メタデータ） (2020-06-24T15:10:43Z)
Improving GAN Training with Probability Ratio Clipping and Sample Reweighting [145.5106274085799]
GAN(Generative Adversarial Network)は、不安定なトレーニングにより性能が低下することが多い。本稿では,より優れたトレーニング安定性を享受する新しい変分GANトレーニングフレームワークを提案する。多様な最先端のGANアーキテクチャにトレーニングアプローチを組み込むことで、幅広いタスクに対して大幅な性能向上を実現した。
論文参考訳（メタデータ） (2020-06-12T01:39:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。