論文の概要: Generalization of GANs under Lipschitz continuity and data augmentation

• arxiv url: http://arxiv.org/abs/2104.02388v1
• Date: Tue, 6 Apr 2021 09:24:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 13:59:15.365071
• Title: Generalization of GANs under Lipschitz continuity and data augmentation
• Title（参考訳）: リプシッツ連続性とデータ拡張によるGANの一般化
• Authors: Khoat Than and Nghia Vu
• Abstract要約: generative adversarial network (gans) は様々な用途で広く使われている。 GANの一般化に関する総合的な分析を行います。
• 参考スコア（独自算出の注目度）: 2.474754293747645
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Generative adversarial networks (GANs) have been being widely used in various applications. Arguably, GANs are really complex, and little has been known about their generalization. In this paper, we make a comprehensive analysis about generalization of GANs. We decompose the generalization error into an explicit composition: generator error + discriminator error + optimization error. The first two errors show the capacity of the player's families, are irreducible and optimizer-independent. We then provide both uniform and non-uniform generalization bounds in different scenarios, thanks to our new bridge between Lipschitz continuity and generalization. Our bounds overcome some major limitations of existing ones. In particular, our bounds show that penalizing the zero- and first-order informations of the GAN loss will improve generalization, answering the long mystery of why imposing a Lipschitz constraint can help GANs perform better in practice. Finally, we show why data augmentation penalizes the zero- and first-order informations of the loss, helping the players generalize better, and hence explaining the highly successful use of data augmentation for GANs.
• Abstract（参考訳）: generative adversarial network (gans) は様々な用途で広く使われている。 おそらく、GANは本当に複雑であり、その一般化についてはほとんど知られていない。 本稿では,GANの一般化に関する包括的分析を行う。 一般化エラーを明示的な構成に分解する: ジェネレータエラー + 判別器エラー + 最適化エラー。 最初の2つのエラーは、プレイヤーの家族の能力を示し、既約であり、オプティマイザ非依存である。 次に、リプシッツ連続性と一般化の間の新しいブリッジのおかげで、異なるシナリオで一様および非一様一般化境界を提供する。 我々の限界は、既存の限界のいくつかの大きな制限を克服する。 特に、我々の限界は、GAN損失のゼロ次情報と1次情報をペナルライズすることで一般化が向上することを示し、なぜリプシッツ制約を課すのかという長い謎に答える。 最後に、データ拡張が損失のゼロ・1次情報をペナルティ化し、プレイヤーがより一般化するのに役立つことを示し、その結果、GANに対するデータ拡張の高度に成功した利用法を説明する。

関連論文リスト

• Doubly Mild Generalization for Offline Reinforcement Learning [50.084440946096]
  我々は,データセットを越えた軽度の一般化を信頼し,一定の条件下での性能向上に活用できることを実証した。 本研究では, (i) 軽度行動一般化と (ii) 軽度一般化伝搬からなる二重軽度一般化(DMG)を提案する。 DMGはGym-MuJoCoタスク間の最先端のパフォーマンスを実現し、AntMazeタスクに挑戦する。
  論文  参考訳（メタデータ） (2024-11-12T17:04:56Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Exactly Tight Information-Theoretic Generalization Error Bound for the Quadratic Gaussian Problem [16.04977600068383]
  我々は、厳密な情報理論の一般化誤差境界(すなわち、定数さえ一致する)を提供する。 既存の境界はこの設定で順序的に緩い。 その後、分解可能な損失関数に対して洗練された境界が提案され、ベクトル設定に対して厳密な境界が導かれる。
  論文  参考訳（メタデータ） (2023-05-01T15:22:58Z)
• Generalization Analysis for Contrastive Representation Learning [80.89690821916653]
  既存の一般化誤差境界は負の例の数$k$に線形に依存する。 対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
  論文  参考訳（メタデータ） (2023-02-24T01:03:56Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Double Descent and Other Interpolation Phenomena in GANs [2.7007335372861974]
  生成逆数ネットワーク(GAN)における潜在空間次元の関数としての一般化誤差について検討する。 そこで我々は,実出力サンプルと組み合わせて,一対の合成(雑音)入力を利用するGANのための新しい擬似教師付き学習手法を開発した。 解析は主に線形モデルに焦点をあてるが、非線形多層GANの一般化に重要な洞察を与える。
  論文  参考訳（メタデータ） (2021-06-07T23:07:57Z)
• When Does Preconditioning Help or Hurt Generalization? [74.25170084614098]
  本稿では,第1次および第2次手法のテキスト単純バイアスが一般化特性の比較にどのように影響するかを示す。 本稿では、バイアス分散トレードオフを管理するためのいくつかのアプローチと、GDとNGDを補間する可能性について論じる。
  論文  参考訳（メタデータ） (2020-06-18T17:57:26Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)
• Robust Generative Adversarial Network [37.015223009069175]
  トレーニングサンプルの小さな地区における局所的ロバスト性を促進することにより,GANの一般化能力の向上を目指す。 我々は,ジェネレータと識別器が,小さなワッサーシュタイン球内でテキストワーストケース設定で互いに競合する,ロバストな最適化フレームワークを設計する。 我々の頑健な手法は、穏やかな仮定の下で従来のGANよりも厳密な一般化上限が得られることを証明した。
  論文  参考訳（メタデータ） (2020-04-28T07:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。