論文の概要: Mean-field Analysis on Two-layer Neural Networks from a Kernel Perspective

• arxiv url: http://arxiv.org/abs/2403.14917v1
• Date: Fri, 22 Mar 2024 02:41:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 18:47:18.214968
• Title: Mean-field Analysis on Two-layer Neural Networks from a Kernel Perspective
• Title（参考訳）: カーネルから見た2層ニューラルネットワークの平均場解析
• Authors: Shokichi Takakura, Taiji Suzuki,
• Abstract要約: 2層ニューラルネットワークは、どのカーネル手法よりも効率的に複数の再生カーネルヒルベルト空間の結合を学習できることを示す。 また,グローバルな最適度に収束するラベルノイズプロシージャを開発し,その自由度が暗黙の正規化として現れることを示す。
• 参考スコア（独自算出の注目度）: 40.69646918673903
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the feature learning ability of two-layer neural networks in the mean-field regime through the lens of kernel methods. To focus on the dynamics of the kernel induced by the first layer, we utilize a two-timescale limit, where the second layer moves much faster than the first layer. In this limit, the learning problem is reduced to the minimization problem over the intrinsic kernel. Then, we show the global convergence of the mean-field Langevin dynamics and derive time and particle discretization error. We also demonstrate that two-layer neural networks can learn a union of multiple reproducing kernel Hilbert spaces more efficiently than any kernel methods, and neural networks acquire data-dependent kernel which aligns with the target function. In addition, we develop a label noise procedure, which converges to the global optimum and show that the degrees of freedom appears as an implicit regularization.
• Abstract（参考訳）: 本稿では,カーネル方式のレンズを用いて,平均場状態における2層ニューラルネットワークの特徴学習能力について検討する。 第1層によって誘導されるカーネルのダイナミクスに焦点を合わせるため、第2層が第1層よりもはるかに速く動く2時間スケールの制限を利用する。 この限界において、学習問題は本質的なカーネル上の最小化問題に還元される。 次に、平均場ランゲヴィンダイナミクスと導出時間と粒子の離散化誤差のグローバル収束を示す。 また、2層ニューラルネットワークは、どのカーネル手法よりも効率的に複数の再生カーネルヒルベルト空間の結合を学習でき、ニューラルネットワークはターゲット関数と整合するデータ依存カーネルを取得できることを示した。 さらに,大域的最適度に収束するラベルノイズプロシージャを開発し,その自由度が暗黙の正規化として現れることを示す。

関連論文リスト

• A Unified Kernel for Neural Network Learning [4.0759204898334715]
  本稿では、勾配降下を伴うニューラルネットワークの学習力学を特徴付けるUnified Neural Kernel(UNK)を提案する。 UNK は NNGP と NTK の両方の制限特性を維持し、有限学習ステップで NTK に似た振る舞いを示す。 また、UNKカーネルの均一な厳密性と学習収束性を理論的に特徴づける。
  論文  参考訳（メタデータ） (2024-03-26T07:55:45Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
  我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
  論文  参考訳（メタデータ） (2022-10-14T19:31:39Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Neural Networks as Kernel Learners: The Silent Alignment Effect [86.44610122423994]
  遅延トレーニング体制におけるニューラルネットワークは、カーネルマシンに収束する。 これは、サイレントアライメント(サイレントアライメント)という現象のためである。 また、非白データは無声アライメント効果を弱めることを示した。
  論文  参考訳（メタデータ） (2021-10-29T18:22:46Z)
• Classifying high-dimensional Gaussian mixtures: Where kernel methods fail and neural networks succeed [27.38015169185521]
  2層ニューラルネットワーク (2lnn) の隠れたニューロンがカーネル学習の性能を上回ることができることを理論的に示している。 ニューラルネットワークのオーバーパラメータが収束を早めるが、最終的な性能は改善しないことを示す。
  論文  参考訳（メタデータ） (2021-02-23T15:10:15Z)
• Reinforcement Learning via Gaussian Processes with Neural Network Dual Kernels [0.0]
  ニューラルネットワーク二重カーネルは回帰学習や強化学習に効率的に適用可能であることを示す。 我々は、よく理解されたマウンテンカー問題を用いて、デュアルカーネルで権限を持つGPが、従来のラジアル基底関数カーネルと同様に、少なくとも性能を発揮することを示した。
  論文  参考訳（メタデータ） (2020-04-10T18:36:21Z)
• Avoiding Kernel Fixed Points: Computing with ELU and GELU Infinite Networks [12.692279981822011]
  指数線型単位(ELU)とガウス誤差線形単位(GELU)を持つ多層パーセプトロンの共分散関数を導出する。 我々は、幅広い活性化関数に対応する繰り返しカーネルの固定点ダイナミクスを解析する。 これまで研究されてきたニューラルネットワークカーネルとは異なり、これらの新しいカーネルは非自明な固定点ダイナミクスを示す。
  論文  参考訳（メタデータ） (2020-02-20T01:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。