論文の概要: Generative Adversarial Method Based on Neural Tangent Kernels

• arxiv url: http://arxiv.org/abs/2204.04090v2
• Date: Mon, 11 Apr 2022 06:03:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 11:26:05.590870
• Title: Generative Adversarial Method Based on Neural Tangent Kernels
• Title（参考訳）: ニューラルタンジェントカーネルに基づく生成逆法
• Authors: Yu-Rong Zhang, Sheng Yen Chou, Shan-Hung Wu
• Abstract要約: GA-NTK(Generative Adversarial NTK)と呼ばれる新しい生成アルゴリズムを提案する。 GA-NTK は GAN に匹敵する画像を生成することができるが、様々な条件下での訓練がずっと容易である。 その結果,GA-NTK は GAN に匹敵する画像を生成することができるが,様々な条件下での訓練がより容易であることがわかった。
• 参考スコア（独自算出の注目度）: 13.664682865991255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent development of Generative adversarial networks (GANs) has driven many computer vision applications. Despite the great synthesis quality, training GANs often confronts several issues, including non-convergence, mode collapse, and gradient vanishing. There exist several workarounds, for example, regularizing Lipschitz continuity and adopting Wasserstein distance. Although these methods can partially solve the problems, we argue that the problems are result from modeling the discriminator with deep neural networks. In this paper, we base on newly derived deep neural network theories called Neural Tangent Kernel (NTK) and propose a new generative algorithm called generative adversarial NTK (GA-NTK). The GA-NTK models the discriminator as a Gaussian Process (GP). With the help of the NTK theories, the training dynamics of GA-NTK can be described with a closed-form formula. To synthesize data with the closed-form formula, the objectives can be simplified into a single-level adversarial optimization problem. We conduct extensive experiments on real-world datasets, and the results show that GA-NTK can generate images comparable to those by GANs but is much easier to train under various conditions. We also study the current limitations of GA-NTK and propose some workarounds to make GA-NTK more practical.
• Abstract（参考訳）: 最近のGAN(Generative Adversarial Network)の開発により、多くのコンピュータビジョンアプリケーションが開発された。 高い合成品質にもかかわらず、訓練用ganはしばしば非収束、モード崩壊、勾配の消失などいくつかの問題に直面している。 例えば、リプシッツ連続性を正則化し、ワッサーシュタイン距離を採用するなどである。 これらの方法は部分的には解けるが、この問題はディープニューラルネットワークを用いた判別器のモデル化によるものであると論じる。 本稿では,ニューラル・タンジェント・カーネル(NTK)と呼ばれるニューラル・タンジェント・ニューラルネットワーク理論を基礎として,GA-NTK(Generative Adversarial NTK)と呼ばれる新しい生成アルゴリズムを提案する。 GA-NTKは、判別器をガウス過程(GP)としてモデル化する。 NTK理論の助けを借りて、GA-NTKのトレーニング力学を閉形式公式で記述することができる。 閉形式式でデータを合成するために、目的を単一レベルの逆最適化問題に単純化することができる。 その結果,GA-NTK は GAN に匹敵する画像を生成することができるが,様々な条件下での訓練がより容易であることがわかった。 また,GA-NTKの現在の限界についても検討し,GA-NTKをより実用的なものにするための回避策を提案する。

関連論文リスト

• First-order PDES for Graph Neural Networks: Advection And Burgers Equation Models [1.4174475093445238]
  本稿では,2つの一階偏微分方程式(PDE)を組み込んだ新しいグラフニューラルネットワークモデルを提案する。 実験結果から,高次PDEモデルと同等の結果を得るための新しいPDEモデルの能力を強調し,最大64層までのオーバースムーシング問題を修正した。 結果は,GNNの適応性と汎用性を強調し,従来の手法と同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-04-03T21:47:02Z)
• A practical existence theorem for reduced order models based on convolutional autoencoders [0.4604003661048266]
  部分微分方程式 (PDE) と還元次数モデリング (ROM) の分野ではディープラーニングが人気を博している。 CNNベースのオートエンコーダは、複雑な非線形問題に対処する際、低基底法などの確立された手法よりも極めて効果的であることが証明されている。 パラメーター対解写像が正則である場合、CNNベースの自己エンコーダに対して新しい実用的存在定理を提供する。
  論文  参考訳（メタデータ） (2024-02-01T09:01:58Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks [68.8204255655161]
  本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。 損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-05T13:26:17Z)
• Inference of Regulatory Networks Through Temporally Sparse Data [5.495223636885796]
  ゲノム工学の大きな目標は、遺伝子制御ネットワーク(GRN)の複雑な動的挙動を適切に捉えることである。 本稿では,ベイズ最適化とカーネルベースの手法を用いて,GRNのスケーラブルかつ効率的なトポロジ推定法を開発した。
  論文  参考訳（メタデータ） (2022-07-21T22:48:12Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。