論文の概要: Neural Tangent Kernel: A Survey

• arxiv url: http://arxiv.org/abs/2208.13614v1
• Date: Mon, 29 Aug 2022 14:05:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-30 14:21:01.111363
• Title: Neural Tangent Kernel: A Survey
• Title（参考訳）: Neural Tangent Kernel: 調査
• Authors: Eugene Golikov, Eduard Pokonechnyy, Vladimir Korviakov
• Abstract要約: 特定のパラメータ化の下でニューラルネットワークをトレーニングすることは、幅が無限に近づくにつれて、特定のカーネルメソッドを実行することと等価であることを示した。 この等価性は、カーネル法に関する豊富な文献の結果を、取り組むのがずっと難しいニューラルネットワークに適用するための有望な方向を開いた。 本調査では, 幅が無限大となるにつれて, カーネル収束の鍵となる結果, 有限幅補正, 応用, および対応する手法の限界について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A seminal work [Jacot et al., 2018] demonstrated that training a neural network under specific parameterization is equivalent to performing a particular kernel method as width goes to infinity. This equivalence opened a promising direction for applying the results of the rich literature on kernel methods to neural nets which were much harder to tackle. The present survey covers key results on kernel convergence as width goes to infinity, finite-width corrections, applications, and a discussion of the limitations of the corresponding method.
• Abstract（参考訳）: 2018年、Jacotらは、特定のパラメータ化の下でニューラルネットワークをトレーニングすることは、幅が無限に近づくにつれて特定のカーネルメソッドを実行することと等価であることを示した。 この等価性は、カーネル法に関する豊富な文献の結果を、取り組むのが非常に難しいニューラルネットワークに適用するための有望な方向を開いた。 本調査は,infinity,有限幅補正,応用,および対応する手法の限界に関する議論において,カーネル収束に関する重要な結果をカバーする。

関連論文リスト

• Deep Kernel Posterior Learning under Infinite Variance Prior Weights [1.5960546024967326]
  ベイジアンディープニューラルネットワークは、条件付きガウス表現を持つ各層に$alpha$stableのマージンを持つプロセスに収束することを示す。 また,浅い多層ネットワーク上の浅層ネットワーク上でのLor'ia & Bhadra (2024)の結果の有用な一般化も提供する。 競合するアプローチに対する計算的および統計的利点は、シミュレーションやベンチマークデータセットでの実証において際立っている。
  論文  参考訳（メタデータ） (2024-10-02T07:13:17Z)
• Controlling the Inductive Bias of Wide Neural Networks by Modifying the Kernel's Spectrum [18.10812063219831]
  所望の固有値を持つカーネルに改良スペクトルカーネル(MSK)を導入する。 本研究では,勾配勾配の軌道を変化させる事前条件付き勾配降下法を提案する。 私たちの手法は計算効率が良く、実装も簡単です。
  論文  参考訳（メタデータ） (2023-07-26T22:39:47Z)
• On the Sublinear Regret of GP-UCB [58.25014663727544]
  ガウス過程上信頼境界 (GP-UCB) アルゴリズムは, ほぼ最適の後悔率を有することを示す。 私たちの改善は、基盤となるカーネルの滑らかさに比例してカーネルリッジ推定を正規化するという、重要な技術的貢献に依存しています。
  論文  参考訳（メタデータ） (2023-07-14T13:56:11Z)
• A Simple Algorithm For Scaling Up Kernel Methods [0.0]
  ランダムな特徴量を無限個のランダムな特徴にスケールできる新しいランダムな特徴回帰アルゴリズムを提案する。 CIFAR-10データセット上で,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2023-01-26T20:59:28Z)
• Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
  我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
  論文  参考訳（メタデータ） (2022-10-14T19:31:39Z)
• An Overview of Uncertainty Quantification Methods for Infinite Neural Networks [0.0]
  無限幅ニューラルネットワークにおける不確実性を定量化する手法について検討する。 我々は、予測の不確実性に対する厳密な閉形式解を得るために、いくつかの等価結果を利用する。
  論文  参考訳（メタデータ） (2022-01-13T00:03:22Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Neural Splines: Fitting 3D Surfaces with Infinitely-Wide Neural Networks [61.07202852469595]
  本稿では,無限幅浅部ReLUネットワークから生じるランダムな特徴カーネルをベースとした3次元表面再構成手法であるNeural Splinesを提案する。 提案手法は,最近のニューラルネットワーク技術より優れ,ポアソン表面再構成に広く用いられている。
  論文  参考訳（メタデータ） (2020-06-24T14:54:59Z)
• On the infinite width limit of neural networks with a standard parameterization [52.07828272324366]
  幅が無限大になるにつれて、これらの特性を全て保存する標準パラメータ化の補間の改善を提案する。 実験により,結果のカーネルはNTKパラメータ化の結果とよく似た精度が得られることがわかった。
  論文  参考訳（メタデータ） (2020-01-21T01:02:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。