論文の概要: Correspondence of NNGP Kernel and the Matern Kernel

• arxiv url: http://arxiv.org/abs/2410.08311v1
• Date: Thu, 10 Oct 2024 19:00:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 04:06:19.028067
• Title: Correspondence of NNGP Kernel and the Matern Kernel
• Title（参考訳）: NNGPカーネルと母カーネルの対応
• Authors: Amanda Muyskens, Benjamin W. Priest, Imene R. Goumiri, Michael D. Schneider,
• Abstract要約: 本稿では,ニューラルネットワークガウス過程(NNGP)カーネルとそのガウス過程回帰データへの応用について検討する。 有効なNNGPカーネルを生成するための正規化の必要性を実証し、関連する数値課題を探求する。 次に,NNGPカーネルからの予測が,特定の状況下でのMaternカーネルの予測と密接に一致することを示す。
• 参考スコア（独自算出の注目度）: 0.6990493129893112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kernels representing limiting cases of neural network architectures have recently gained popularity. However, the application and performance of these new kernels compared to existing options, such as the Matern kernel, is not well studied. We take a practical approach to explore the neural network Gaussian process (NNGP) kernel and its application to data in Gaussian process regression. We first demonstrate the necessity of normalization to produce valid NNGP kernels and explore related numerical challenges. We further demonstrate that the predictions from this model are quite inflexible, and therefore do not vary much over the valid hyperparameter sets. We then demonstrate a surprising result that the predictions given from the NNGP kernel correspond closely to those given by the Matern kernel under specific circumstances, which suggests a deep similarity between overparameterized deep neural networks and the Matern kernel. Finally, we demonstrate the performance of the NNGP kernel as compared to the Matern kernel on three benchmark data cases, and we conclude that for its flexibility and practical performance, the Matern kernel is preferred to the novel NNGP in practical applications.
• Abstract（参考訳）: ニューラルネットワークアーキテクチャの制限ケースを表すカーネルが最近人気を集めている。 しかし、Maternカーネルのような既存のオプションと比較して、これらの新しいカーネルの適用と性能はよく研究されていない。 本稿では,ニューラルネットワークガウス過程(NNGP)カーネルとそのガウス過程回帰データへの応用について検討する。 まず、有効なNNGPカーネルを生成するための正規化の必要性を示し、関連する数値的課題を探求する。 さらに、このモデルからの予測は、非常に非フレキシブルであり、従って、有効なハイパーパラメータ集合についてはあまり変化しないことを示す。 次に、NNGPカーネルから得られる予測が、特定の状況下でMaternカーネルが与える予測と密接に一致していることを示し、これは過パラメータ化されたディープニューラルネットワークとMaternカーネルとの深い類似性を示唆している。 最後に, NNGPカーネルの3つのベンチマークデータに対して, Maternカーネルと比較して, NNGPカーネルの性能を示す。

関連論文リスト

• Matérn Kernels for Tunable Implicit Surface Reconstruction [5.8691349601057325]
  マタン核はいくつかの魅力的な性質を持ち、表面再構成に特に適している。 定常であることから、Mat'ernカーネルのスペクトルが特徴写像と同じ方法でチューニングできることが示される。 我々は、SIRENネットワークに対するMat'ernの接続と、以前に採用されていたアークコサインカーネルとの関係を解析する。
  論文  参考訳（メタデータ） (2024-09-23T18:45:42Z)
• An Exact Kernel Equivalence for Finite Classification Models [1.4777718769290527]
  我々は、その正確な表現をよく知られたニューラルタンジェントカーネル(NTK)と比較し、NTKに対する近似誤差について議論する。 この正確なカーネルを使って、ニューラルネットワークによる予測について、理論的貢献が有益な洞察を提供することを示す。
  論文  参考訳（メタデータ） (2023-08-01T20:22:53Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Incorporating Prior Knowledge into Neural Networks through an Implicit Composite Kernel [1.6383321867266318]
  Implicit Composite Kernel (ICK) は、ニューラルネットワークによって暗黙的に定義されたカーネルと、既知のプロパティをモデル化するために選択された第2のカーネル関数を組み合わせたカーネルである。 合成データセットと実世界のデータセットの両方において、ICKの優れた性能と柔軟性を実証する。
  論文  参考訳（メタデータ） (2022-05-15T21:32:44Z)
• Uniform Generalization Bounds for Overparameterized Neural Networks [5.945320097465419]
  カーネルシステムにおけるオーバーパラメータ化ニューラルネットワークに対する一様一般化バウンダリを証明した。 我々の境界は、アクティベーション関数の微分可能性に応じて正確な誤差率をキャプチャする。 NTカーネルに対応するRKHSと、Mat'ernカーネルのファミリーに対応するRKHSの等価性を示す。
  論文  参考訳（メタデータ） (2021-09-13T16:20:13Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Neural Splines: Fitting 3D Surfaces with Infinitely-Wide Neural Networks [61.07202852469595]
  本稿では,無限幅浅部ReLUネットワークから生じるランダムな特徴カーネルをベースとした3次元表面再構成手法であるNeural Splinesを提案する。 提案手法は,最近のニューラルネットワーク技術より優れ,ポアソン表面再構成に広く用いられている。
  論文  参考訳（メタデータ） (2020-06-24T14:54:59Z)
• Reinforcement Learning via Gaussian Processes with Neural Network Dual Kernels [0.0]
  ニューラルネットワーク二重カーネルは回帰学習や強化学習に効率的に適用可能であることを示す。 我々は、よく理解されたマウンテンカー問題を用いて、デュアルカーネルで権限を持つGPが、従来のラジアル基底関数カーネルと同様に、少なくとも性能を発揮することを示した。
  論文  参考訳（メタデータ） (2020-04-10T18:36:21Z)
• Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes [144.6048446370369]
  グラフ畳み込みニューラルネットワーク(GCN)は近年,グラフに基づく半教師付き半教師付き分類において有望な結果を示した。 グラフに基づく半教師付き学習のためのGCN(GPGC)を用いたGP回帰モデルを提案する。 GPGCを評価するための広範囲な実験を行い、他の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-26T10:02:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。