論文の概要: Double Descent and Other Interpolation Phenomena in GANs

• arxiv url: http://arxiv.org/abs/2106.04003v1
• Date: Mon, 7 Jun 2021 23:07:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 15:49:27.743604
• Title: Double Descent and Other Interpolation Phenomena in GANs
• Title（参考訳）: GANにおける二重発光と他の補間現象
• Authors: Lorenzo Luzi and Yehuda Dar and Richard Baraniuk
• Abstract要約: 一般化誤差を潜在空間次元の関数として検討し,学習条件に応じて2つの主な挙動を同定する。 そこで我々は,実出力サンプルと組み合わせて,一対の合成(雑音)入力を利用するGANのための新しい擬似教師付き学習手法を開発した。 解析は主に線形GANに焦点をあてるが、非線形多層GANの一般化に重要な洞察を与える。
• 参考スコア（独自算出の注目度）: 4.83420384410068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study overparameterization in generative adversarial networks (GANs) that can interpolate the training data. We show that overparameterization can improve generalization performance and accelerate the training process. We study the generalization error as a function of latent space dimension and identify two main behaviors, depending on the learning setting. First, we show that overparameterized generative models that learn distributions by minimizing a metric or $f$-divergence do not exhibit double descent in generalization errors; specifically, all the interpolating solutions achieve the same generalization error. Second, we develop a new pseudo-supervised learning approach for GANs where the training utilizes pairs of fabricated (noise) inputs in conjunction with real output samples. Our pseudo-supervised setting exhibits double descent (and in some cases, triple descent) of generalization errors. We combine pseudo-supervision with overparameterization (i.e., overly large latent space dimension) to accelerate training while performing better, or close to, the generalization performance without pseudo-supervision. While our analysis focuses mostly on linear GANs, we also apply important insights for improving generalization of nonlinear, multilayer GANs.
• Abstract（参考訳）: 学習データを補間できるGAN(Generative Adversarial Network)の過度パラメータ化について検討する。 過パラメータ化によって一般化性能が向上し,トレーニングプロセスを高速化できることを示す。 一般化誤差を潜在空間次元の関数として検討し,学習条件に応じて2つの主な挙動を同定する。 まず、計量や$f$-divergenceを最小化して分布を学習する過パラメータ生成モデルは、一般化誤差において二重降下を示さないことを示し、特に、補間解は同じ一般化誤差を達成する。 第2に,実出力サンプルと組み合わせて一対の合成(雑音)入力を利用するGANのための擬似教師付き学習手法を開発した。 擬似教師設定は一般化誤差の二重降下(場合によっては三重降下)を示す。 擬似スーパービジョンと過パラメータ化(すなわち、過度に大きい潜在空間次元)を組み合わせてトレーニングを加速し、擬似スーパービジョンのない一般化性能を向上する。 解析は主に線形GANに焦点をあてるが、非線形多層GANの一般化に重要な洞察を与える。

関連論文リスト

• Exact, Tractable Gauss-Newton Optimization in Deep Reversible Architectures Reveal Poor Generalization [52.16435732772263]
  多くのアプリケーションにおいて、ディープニューラルネットワークのトレーニングを加速する2階最適化が示されている。 しかし、二階法の一般化特性についてはいまだ議論が続いている。 我々は、Gauss-Newton (GN) の正確な更新が、ディープアーキテクチャのクラスにおいて、牽引可能な形式を取ることを初めて示す。
  論文  参考訳（メタデータ） (2024-11-12T17:58:40Z)
• HG-Adapter: Improving Pre-Trained Heterogeneous Graph Neural Networks with Dual Adapters [53.97380482341493]
  事前学習, 即時学習」は, 事前学習したヘテロジニアスグラフニューラルネットワーク(HGNN)のチューニング性能を示す。 本稿では、2つの新しいアダプタと潜在的ラベル付きデータ拡張を組み合わせた統合フレームワークを提案し、事前学習されたHGNNモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2024-11-02T06:43:54Z)
• Understanding the Double Descent Phenomenon in Deep Learning [49.1574468325115]
  このチュートリアルは、古典的な統計学習の枠組みを設定し、二重降下現象を導入する。 いくつかの例を見て、セクション2では、二重降下において重要な役割を果たすと思われる帰納的バイアスを導入している。 第3節は2つの線形モデルで二重降下を探索し、最近の関連する研究から他の視点を提供する。
  論文  参考訳（メタデータ） (2024-03-15T16:51:24Z)
• Learning Trajectories are Generalization Indicators [44.53518627207067]
  本稿では,Deep Neural Networks (DNN) の学習軌跡と一般化能力との関係について検討する。 本稿では,各更新ステップの一般化誤差の変化に対する寄与を調査し,一般化誤差を解析するための新しい視点を提案する。 また,学習率やラベルのノイズレベルに対する調整を行う場合,一般化誤差の変化も追跡できる。
  論文  参考訳（メタデータ） (2023-04-25T05:08:57Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)
• Linear Regression with Distributed Learning: A Generalization Error Perspective [0.0]
  大規模線形回帰のための分散学習の性能を検討する。 我々は、一般化エラー、すなわち、見当たらないデータのパフォーマンスに焦点を当てる。 その結果、分散ソリューションの一般化誤差は、集中ソリューションの一般化誤差よりも大幅に高いことが示された。
  論文  参考訳（メタデータ） (2021-01-22T08:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。