論文の概要: Convergence dynamics of Generative Adversarial Networks: the dual metric flows

• arxiv url: http://arxiv.org/abs/2012.10410v2
• Date: Wed, 14 Apr 2021 16:59:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-01 18:19:20.790958
• Title: Convergence dynamics of Generative Adversarial Networks: the dual metric flows
• Title（参考訳）: 生成逆ネットワークの収束ダイナミクス:双対計量フロー
• Authors: Gabriel Turinici
• Abstract要約: 機械学習におけるGenerative Adversarial Networksの収束性について検討する。 学習速度の制限について検討し,単一ネットワーク学習と同様にgan学習ダイナミクスはある程度の限界ダイナミクスまで消失する傾向があることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Fitting neural networks often resorts to stochastic (or similar) gradient descent which is a noise-tolerant (and efficient) resolution of a gradient descent dynamics. It outputs a sequence of networks parameters, which sequence evolves during the training steps. The gradient descent is the limit, when the learning rate is small and the batch size is infinite, of this set of increasingly optimal network parameters obtained during training. In this contribution, we investigate instead the convergence in the Generative Adversarial Networks used in machine learning. We study the limit of small learning rate, and show that, similar to single network training, the GAN learning dynamics tend, for vanishing learning rate to some limit dynamics. This leads us to consider evolution equations in metric spaces (which is the natural framework for evolving probability laws) that we call dual flows. We give formal definitions of solutions and prove the convergence. The theory is then applied to specific instances of GANs and we discuss how this insight helps understand and mitigate the mode collapse. Keywords: GAN; metric flow; generative network
• Abstract（参考訳）: ニューラルネットワークのフィッティングはしばしば、勾配降下ダイナミクスの雑音耐性(および効率的な)分解能である確率的(または類似した)勾配降下を利用する。 ネットワークパラメータのシーケンスを出力し、トレーニングステップ中にシーケンスが進化する。 勾配降下は、学習率が小さく、バッチサイズが無限である場合の限界であり、トレーニング中に得られる最適なネットワークパラメータのセットである。 そこで本研究では,機械学習における生成的逆ネットワークの収束について検討する。 我々は,学習速度の限界について検討し,単一のネットワークトレーニングと同様に,学習速度をある程度の制限ダイナミクスに消耗させる傾向にあることを示す。 これにより、双対流れと呼ばれる距離空間(確率論の発展の自然な枠組み)における進化方程式を考えることができる。 解の形式的定義を与え、収束を証明する。 この理論はGANの特定の事例に適用され、この洞察がモード崩壊の理解と緩和にどのように役立つかについて議論する。 キーワード:gan, metric flow, generative network

関連論文リスト

• Metric Flows with Neural Networks [0.0]
  我々は、ニューラルネットワーク勾配降下によって誘導されるリーマン計量の空間における流れの理論を開発する。 これは部分的には、Calabi-Yauメトリクスをニューラルネットワークで近似する進歩によるものである。 有限幅におけるよく学習された数値測定値が,特徴学習と関連するNTKの進化を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-30T18:00:01Z)
• Implicit regularization of deep residual networks towards neural ODEs [8.075122862553359]
  我々は、ニューラルネットワークに対する深い残留ネットワークの暗黙的な正規化を確立する。 ネットワークがニューラルなODEの離散化であるなら、そのような離散化はトレーニングを通して維持される。
  論文  参考訳（メタデータ） (2023-09-03T16:35:59Z)
• A Framework for Provably Stable and Consistent Training of Deep Feedforward Networks [4.21061712600981]
  本稿では、教師付き(分類と回帰)および教師なし(強化学習)シナリオにおいて、ディープニューラルネットワークを訓練するための新しいアルゴリズムを提案する。 このアルゴリズムは、標準降下勾配と勾配クリッピング法を組み合わせたものである。 理論的および実験を通して、我々のアルゴリズム更新はばらつきが低く、トレーニング損失はスムーズな方法で減少することを示す。
  論文  参考訳（メタデータ） (2023-05-20T07:18:06Z)
• The Underlying Correlated Dynamics in Neural Training [6.385006149689549]
  ニューラルネットワークのトレーニングは、計算集約的なタスクである。 本稿では,パラメータのダイナミクスの相関に基づくモデルを提案する。 この表現は、基礎となるトレーニングダイナミクスの理解を深め、より良い加速技術を設計するための道を開くことができる。
  論文  参考訳（メタデータ） (2022-12-18T08:34:11Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Dynamics of Fourier Modes in Torus Generative Adversarial Networks [0.8189696720657245]
  GAN(Generative Adversarial Networks)は、所望の事象の完全な合成サンプルを高解像度で生成できる強力な機械学習モデルである。 彼らの成功にもかかわらず、GANのトレーニングプロセスは非常に不安定であり、典型的には、モデルの許容できる収束に達するために、ネットワークにいくつかのアクセサリー摂動を実装する必要がある。 本稿では,ジェネレーティブ・アドバイサル・ネットワークのトレーニングにおける収束と安定性を解析するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-05T09:03:22Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Continuous-in-Depth Neural Networks [107.47887213490134]
  まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。 次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。 ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
  論文  参考訳（メタデータ） (2020-08-05T22:54:09Z)
• Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality [74.0084803220897]
  逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。 自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
  論文  参考訳（メタデータ） (2020-02-16T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。