論文の概要: On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective

• arxiv url: http://arxiv.org/abs/2409.05349v1
• Date: Mon, 9 Sep 2024 06:10:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 15:40:55.239797
• Title: On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective
• Title（参考訳）: 過パラメータ化変分オートエンコーダの収束解析について:ニューラル・タンジェント・カーネル・パースペクティブ
• Authors: Li Wang, Wei Huang,
• Abstract要約: 変分自動エンコーダ(VAE)は、生成タスクの強力な確率モデルとして登場した。 本稿では, 軽微な仮定の下でのVAEの数学的証明について述べる。 また、過剰に最適化されたSNNが直面する最適化問題と、カーネルリッジ(KRR)問題との新たな接続を確立する。
• 参考スコア（独自算出の注目度）: 7.580900499231056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational Auto-Encoders (VAEs) have emerged as powerful probabilistic models for generative tasks. However, their convergence properties have not been rigorously proven. The challenge of proving convergence is inherently difficult due to the highly non-convex nature of the training objective and the implementation of a Stochastic Neural Network (SNN) within VAE architectures. This paper addresses these challenges by characterizing the optimization trajectory of SNNs utilized in VAEs through the lens of Neural Tangent Kernel (NTK) techniques. These techniques govern the optimization and generalization behaviors of ultra-wide neural networks. We provide a mathematical proof of VAE convergence under mild assumptions, thus advancing the theoretical understanding of VAE optimization dynamics. Furthermore, we establish a novel connection between the optimization problem faced by over-parameterized SNNs and the Kernel Ridge Regression (KRR) problem. Our findings not only contribute to the theoretical foundation of VAEs but also open new avenues for investigating the optimization of generative models using advanced kernel methods. Our theoretical claims are verified by experimental simulations.
• Abstract（参考訳）: 変分自動エンコーダ(VAE)は、生成タスクの強力な確率モデルとして登場した。 しかし、それらの収束性は厳密には証明されていない。 収束を証明することの難しさは、トレーニング目的の非凸性や、VAEアーキテクチャにおける確率ニューラルネットワーク(SNN)の実装によって本質的に困難である。 本稿では, ニューラルタンジェントカーネル (NTK) 技術を用いて, VAE で使用される SNN の最適化軌道を特徴付けることにより, これらの課題に対処する。 これらの手法は超ワイドニューラルネットワークの最適化と一般化の挙動を制御している。 軽微な仮定の下でのVAE収束の数学的証明により、VAE最適化力学の理論的理解を推し進める。 さらに,過パラメータSNNが直面する最適化問題とKernel Ridge Regression(KRR)問題との新たな接続を確立する。 我々の発見は、VAEの理論的基礎に貢献するだけでなく、先進的なカーネル手法を用いた生成モデルの最適化を研究するための新たな道を開いた。 我々の理論的主張は実験シミュレーションによって検証される。

関連論文リスト

• Diffusion Models as Network Optimizers: Explorations and Analysis [71.69869025878856]
  生成拡散モデル(GDM)は,ネットワーク最適化の新しいアプローチとして期待されている。 本研究ではまず,生成モデルの本質的な特徴について考察する。 本稿では,識別的ネットワーク最適化よりも生成モデルの利点を簡潔かつ直感的に示す。
  論文  参考訳（メタデータ） (2024-11-01T09:05:47Z)
• An Efficient Approach to Regression Problems with Tensor Neural Networks [5.345144592056051]
  本稿では、非パラメトリック回帰問題に対処するテンソルニューラルネットワーク(TNN)を提案する。 TNNは従来のFeed-Forward Networks (FFN) や Radial Basis Function Networks (RBN) よりも優れた性能を示している。 このアプローチにおける重要な革新は、統計回帰とTNNフレームワーク内の数値積分の統合である。
  論文  参考訳（メタデータ） (2024-06-14T03:38:40Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Learning Stochastic Graph Neural Networks with Constrained Variance [18.32587282139282]
  グラフニューラルネットワーク(Graph Neural Network, SGNN)は、ランダムグラフ上のデータから表現を学習する情報処理アーキテクチャである。 本稿では,SGNNに対する分散制約付き最適化問題を提案し,予測性能と偏差のバランスをとる。 降下したSGNNパラメータと昇降した双対変数を更新することで問題を解く。
  論文  参考訳（メタデータ） (2022-01-29T15:55:58Z)
• Weighted Neural Tangent Kernel: A Generalized and Improved Network-Induced Kernel [20.84988773171639]
  Neural Tangent Kernel(NTK)は、勾配降下によって訓練された過剰パラメーターニューラルネットワーク(NN)の進化を記述することで、近年、激しい研究を惹きつけている。 Weighted Neural Tangent Kernel (WNTK) は、一般化された改良されたツールであり、異なる勾配の下でパラメータ化されたNNのトレーニングダイナミクスをキャプチャすることができる。 提案する重み更新アルゴリズムでは,実験値と解析値の両方が,数値実験において対応するntkを上回っている。
  論文  参考訳（メタデータ） (2021-03-22T03:16:20Z)
• A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks [23.038631072178735]
  我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。 その結果、ニューラルネットワークの収束挙動を利用することができる。 このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
  論文  参考訳（メタデータ） (2020-10-25T17:10:22Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。