論文の概要: Stabilizing Training of Generative Adversarial Nets via Langevin Stein Variational Gradient Descent

• arxiv url: http://arxiv.org/abs/2004.10495v1
• Date: Wed, 22 Apr 2020 11:20:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 17:02:28.474375
• Title: Stabilizing Training of Generative Adversarial Nets via Langevin Stein Variational Gradient Descent
• Title（参考訳）: langevin stein変分勾配による生成的逆行性ネットの安定化訓練
• Authors: Dong Wang, Xiaoqian Qin, Fengyi Song, Li Cheng
• Abstract要約: 我々は,新しい粒子に基づく変分推論(LSVGD)によるGANトレーニングの安定化を提案する。 LSVGDのダイナミクスは暗黙の規則化を持ち、粒子の広がりと多様性を高めることができることを示す。
• 参考スコア（独自算出の注目度）: 11.329376606876101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative adversarial networks (GANs), famous for the capability of learning complex underlying data distribution, are however known to be tricky in the training process, which would probably result in mode collapse or performance deterioration. Current approaches of dealing with GANs' issues almost utilize some practical training techniques for the purpose of regularization, which on the other hand undermines the convergence and theoretical soundness of GAN. In this paper, we propose to stabilize GAN training via a novel particle-based variational inference -- Langevin Stein variational gradient descent (LSVGD), which not only inherits the flexibility and efficiency of original SVGD but aims to address its instability issues by incorporating an extra disturbance into the update dynamics. We further demonstrate that by properly adjusting the noise variance, LSVGD simulates a Langevin process whose stationary distribution is exactly the target distribution. We also show that LSVGD dynamics has an implicit regularization which is able to enhance particles' spread-out and diversity. At last we present an efficient way of applying particle-based variational inference on a general GAN training procedure no matter what loss function is adopted. Experimental results on one synthetic dataset and three popular benchmark datasets -- Cifar-10, Tiny-ImageNet and CelebA validate that LSVGD can remarkably improve the performance and stability of various GAN models.
• Abstract（参考訳）: 複雑なデータ分散を学習する能力で知られるgans(generative adversarial networks)は、トレーニングプロセスにおいてトリッキーであることが知られており、モードの崩壊やパフォーマンスの低下を引き起こす可能性がある。 GANの課題に対処する現在のアプローチは、正規化のための実践的な訓練手法をほとんど利用しており、その一方で、GANの収束と理論的健全性を損なうものである。 本稿では,従来のSVGDの柔軟性と効率を継承するだけでなく,更新ダイナミクスに余分な乱れを組み込むことで,その不安定性に対処することを目的とした,新しい粒子ベース変分勾配降下法(LSVGD)によるGANトレーニングの安定化を提案する。 さらに,ノイズ分散を適切に調整することにより,定常分布が目標分布であるランジュバン過程をシミュレートすることを示す。 また,lsvgdダイナミクスは粒子の拡散と多様性を高めることができる暗黙の正規化を持つことを示した。 最後に、損失関数がどんなものであっても、一般のGAN訓練手順に粒子ベースの変分推論を適用する効率的な方法を提案する。 Cifar-10、Tiny-ImageNet、CelebAの3つの一般的なベンチマークデータセットと1つの合成データセットの実験結果は、SVGDが様々なGANモデルの性能と安定性を著しく向上させることができることを検証している。

関連論文リスト

• Parallelly Tempered Generative Adversarial Networks [7.94957965474334]
  生成的敵対ネットワーク(GAN)は、生成的人工知能(AI)における代表的バックボーンモデルである。 本研究は,モード崩壊の存在下でのトレーニングの不安定性と非効率性を,対象分布におけるマルチモーダルにリンクすることで解析する。 新たに開発したGAN目標関数により, 生成元は同時に全ての誘電分布を学習することができる。
  論文  参考訳（メタデータ） (2024-11-18T18:01:13Z)
• FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental Regularization [5.182014186927254]
  大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。 我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。 我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
  論文  参考訳（メタデータ） (2023-09-13T08:51:19Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Improving GANs with A Dynamic Discriminator [106.54552336711997]
  我々は、オンザフライで調整可能な判別器は、そのような時間変化に適応できると論じる。 総合的な実証研究により、提案したトレーニング戦略がDynamicDと呼ばれ、追加のコストやトレーニング目標を発生させることなく、合成性能を向上させることが確認された。
  論文  参考訳（メタデータ） (2022-09-20T17:57:33Z)
• FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity in Data-Efficient GANs [24.18718734850797]
  Data-Efficient GAN(DE-GAN)は、限られたトレーニングデータで生成モデルを学習することを目的としている。 対照的な学習は、DE-GANの合成品質を高める大きな可能性を示している。 偽のサンプルに対してのみ対照的な学習を行うFakeCLRを提案する。
  論文  参考訳（メタデータ） (2022-07-18T14:23:38Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。