Fugu-MT 論文翻訳(概要): An Exact Kernel Equivalence for Finite Classification Models

論文の概要: An Exact Kernel Equivalence for Finite Classification Models

arxiv url: http://arxiv.org/abs/2308.00824v1
Date: Tue, 1 Aug 2023 20:22:53 GMT
ステータス: 処理完了
システム内更新日: 2023-08-03 14:41:53.644310
Title: An Exact Kernel Equivalence for Finite Classification Models
Title（参考訳）: 有限分類モデルのためのエクササイズカーネル等価性
Authors: Brian Bell, Michael Geyer, Juston Moore, David Glickenstein, Amanda Fernandez
Abstract要約: 我々は、その正確な表現をよく知られたニューラルタンジェントカーネル(NTK)と比較し、NTKに対する近似誤差について議論する。この正確なカーネルを使って、ニューラルネットワークによる予測について、理論的貢献が有益な洞察を提供することを示す。
参考スコア（独自算出の注目度）: 1.4777718769290527
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We explore the equivalence between neural networks and kernel methods by deriving the first exact representation of any finite-size parametric classification model trained with gradient descent as a kernel machine. We compare our exact representation to the well-known Neural Tangent Kernel (NTK) and discuss approximation error relative to the NTK and other non-exact path kernel formulations. We experimentally demonstrate that the kernel can be computed for realistic networks up to machine precision. We use this exact kernel to show that our theoretical contribution can provide useful insights into the predictions made by neural networks, particularly the way in which they generalize.
Abstract（参考訳）: ニューラルネットワークとカーネル手法の同値性について検討し、勾配勾配をカーネルマシンとして訓練した有限サイズパラメトリック分類モデルの最初の正確な表現を導出する。我々は、よく知られたニューラルタンジェントカーネル(NTK)と正確な表現を比較し、NTKや他の非コンパクトパスカーネルの定式化に対する近似誤差について議論する。計算機の精度まで,実ネットワーク上でカーネルを計算できることを実験的に実証する。私たちはこの正確なカーネルを使って、ニューラルネットワークによる予測、特にそれらの一般化方法に関する有益な洞察を提供することができることを示しています。

関連論文リスト

Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
論文参考訳（メタデータ） (2023-10-16T19:54:21Z)
Faithful and Efficient Explanations for Neural Networks via Neural Tangent Kernel Surrogate Models [7.608408123113268]
我々は、データ属性の近似的経験的ニューラルネットワークカーネル(eNTK)を解析する。そこで本研究では,時間とメモリの複雑さを調整可能な,近似eNTKの2つの新しいランダムプロジェクションモデルを提案する。ニューラルネットワークカーネルをカーネル関数として用いたカーネルマシンは,効率的なサロゲートモデルである。
論文参考訳（メタデータ） (2023-05-23T23:51:53Z)
Approximation by non-symmetric networks for cross-domain learning [0.0]
非対称カーネルを用いたカーネルネットワークの近似能力について検討する。我々は、$r$が必ずしも整数ではないとき、ReLU$r$ネットワークにより、ソボレフクラスの関数の均一近似の精度の推定値を得る。
論文参考訳（メタデータ） (2023-05-06T01:33:26Z)
On the Eigenvalue Decay Rates of a Class of Neural-Network Related Kernel Functions Defined on General Domains [10.360517127652185]
一般領域上で定義されたカーネル関数の大きなクラスの固有値減衰率(EDR)を決定するための戦略を提供する。この種類のカーネル関数は含まれているが、異なる深さと様々なアクティベーション関数を持つニューラルネットワークに付随する神経タンジェントカーネルに限らない。
論文参考訳（メタデータ） (2023-05-04T08:54:40Z)
Uniform Generalization Bounds for Overparameterized Neural Networks [5.945320097465419]
カーネルシステムにおけるオーバーパラメータ化ニューラルネットワークに対する一様一般化バウンダリを証明した。我々の境界は、アクティベーション関数の微分可能性に応じて正確な誤差率をキャプチャする。 NTカーネルに対応するRKHSと、Mat'ernカーネルのファミリーに対応するRKHSの等価性を示す。
論文参考訳（メタデータ） (2021-09-13T16:20:13Z)
Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文参考訳（メタデータ） (2021-04-03T09:08:12Z)
Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文参考訳（メタデータ） (2020-07-31T01:57:47Z)
Neural Splines: Fitting 3D Surfaces with Infinitely-Wide Neural Networks [61.07202852469595]
本稿では,無限幅浅部ReLUネットワークから生じるランダムな特徴カーネルをベースとした3次元表面再構成手法であるNeural Splinesを提案する。提案手法は,最近のニューラルネットワーク技術より優れ,ポアソン表面再構成に広く用いられている。
論文参考訳（メタデータ） (2020-06-24T14:54:59Z)
A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。これは、トレーニング損失が一定の精度まで線形に収束することを意味する。また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文参考訳（メタデータ） (2020-02-10T18:56:15Z)
Spectrum Dependent Learning Curves in Kernel Regression and Wide Neural Networks [17.188280334580195]
トレーニングサンプル数の関数として,カーネル回帰の一般化性能に関する解析式を導出する。我々の表現は、トレーニングとニューラルカーネル・タンジェント(NTK)によるカーネル回帰の等価性により、広いニューラルネットワークに適用される。我々は、合成データとMNISTデータセットのシミュレーションを用いて、我々の理論を検証する。
論文参考訳（メタデータ） (2020-02-07T00:03:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。