論文の概要: Online Kernel based Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2006.11432v1
• Date: Fri, 19 Jun 2020 22:54:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 04:05:34.149912
• Title: Online Kernel based Generative Adversarial Networks
• Title（参考訳）: オンラインカーネルによる生成型adversarial network
• Authors: Yeojoon Youn, Neil Thistlethwaite, Sang Keun Choe, Jacob Abernethy
• Abstract要約: オンラインカーネルベースのジェネレーティブ・アドバイザリアル・ネットワーク(OKGAN)は,モード崩壊やサイクリングなど,多くのトレーニング問題を緩和する。 OKGANは、合成データ上の他のGANの定式化よりも、逆KL偏差に対して、劇的に優れた性能を発揮する。
• 参考スコア（独自算出の注目度）: 0.45880283710344055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the major breakthroughs in deep learning over the past five years has been the Generative Adversarial Network (GAN), a neural network-based generative model which aims to mimic some underlying distribution given a dataset of samples. In contrast to many supervised problems, where one tries to minimize a simple objective function of the parameters, GAN training is formulated as a min-max problem over a pair of network parameters. While empirically GANs have shown impressive success in several domains, researchers have been puzzled by unusual training behavior, including cycling so-called mode collapse. In this paper, we begin by providing a quantitative method to explore some of the challenges in GAN training, and we show empirically how this relates fundamentally to the parametric nature of the discriminator network. We propose a novel approach that resolves many of these issues by relying on a kernel-based non-parametric discriminator that is highly amenable to online training---we call this the Online Kernel-based Generative Adversarial Networks (OKGAN). We show empirically that OKGANs mitigate a number of training issues, including mode collapse and cycling, and are much more amenable to theoretical guarantees. OKGANs empirically perform dramatically better, with respect to reverse KL-divergence, than other GAN formulations on synthetic data; on classical vision datasets such as MNIST, SVHN, and CelebA, show comparable performance.
• Abstract（参考訳）: ディープラーニングにおける過去5年間の大きなブレークスルーの1つは、サンプルのデータセットが与えられた基礎的な分布を模倣することを目的とした、ニューラルネットワークベースの生成モデルであるGenerative Adversarial Network(GAN)である。 パラメータの単純な目的関数を最小化しようとする多くの教師付き問題とは対照的に、ganトレーニングはネットワークパラメータ対のmin-max問題として定式化される。 GANはいくつかの領域で目覚ましい成功を収めてきたが、研究者たちは、いわゆるモード崩壊をサイクリングするなど、異常なトレーニング行動に悩まされている。 本稿では,gan学習における課題のいくつかを定量的に検討する手法を提供することから始め,判別器ネットワークのパラメトリックな性質にどのように関係しているかを実証的に示す。 我々は、オンライントレーニングに非常に適したカーネルベースの非パラメトリック判別器に依存することで、これらの問題の多くを解決する新しいアプローチを提案し、これをオンラインカーネルベースの生成型敵ネットワーク(okgan)と呼ぶ。 我々は、OKGANがモード崩壊やサイクリングなど、多くのトレーニング問題を緩和し、理論上の保証に対処できることを実証的に示す。 OKGANは、合成データ上の他のGAN定式化よりも、逆KL偏差に関して、劇的に性能が向上し、MNIST、SVHN、CelebAといった古典的な視覚データセットでは、同等のパフォーマンスを示している。

関連論文リスト

• On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
  Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。 実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
  論文  参考訳（メタデータ） (2024-10-10T15:34:10Z)
• Generative Adversarial Reduced Order Modelling [0.0]
  本稿ではGAROMについて述べる。GAN(Generative Adversarial Network)に基づくリダクション・オーダー・モデリング(ROM)の新しいアプローチである。 GANはデータ配布を学習し、よりリアルなデータを生成する可能性がある。 本研究では,パラメータ微分方程式の解を学習可能なデータ駆動生成逆数モデルを導入することにより,GANとROMの枠組みを組み合わせる。
  論文  参考訳（メタデータ） (2023-05-25T09:23:33Z)
• Generative Adversarial Method Based on Neural Tangent Kernels [13.664682865991255]
  GA-NTK(Generative Adversarial NTK)と呼ばれる新しい生成アルゴリズムを提案する。 GA-NTK は GAN に匹敵する画像を生成することができるが、様々な条件下での訓練がずっと容易である。 その結果,GA-NTK は GAN に匹敵する画像を生成することができるが,様々な条件下での訓練がより容易であることがわかった。
  論文  参考訳（メタデータ） (2022-04-08T14:17:46Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Wide Network Learning with Differential Privacy [7.453881927237143]
  現在のニューラルネットの世代は、最も実質的に関連するプライバシトレーニング体制下で大きな損失を被っている。 プライベートな経験最小化(ERM)の勾配を生かしたこれらのモデルを訓練するための一般的なアプローチを開発する。 同じパラメータの数に従って、ニューラルネットワークをプライベートにトレーニングするための新しいアルゴリズムを提案します。
  論文  参考訳（メタデータ） (2021-03-01T20:31:50Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Generative Adversarial Networks (GANs): An Overview of Theoretical Model, Evaluation Metrics, and Recent Developments [9.023847175654602]
  GAN(Generative Adversarial Network)は,大規模データ分散のサンプルを作成する上で有効な手法である。 GANはラベル付きトレーニングデータを広く使用せずにディープ表現を学習する適切な方法を提供する。 GANでは、ジェネレータと識別器のネットワークを同時にトレーニングする競合プロセスを通じて生成モデルを推定する。
  論文  参考訳（メタデータ） (2020-05-27T05:56:53Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。