論文の概要: On the Equivalence between Neural Network and Support Vector Machine
- arxiv url: http://arxiv.org/abs/2111.06063v1
- Date: Thu, 11 Nov 2021 06:05:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-12 13:07:26.775275
- Title: On the Equivalence between Neural Network and Support Vector Machine
- Title（参考訳）: ニューラルネットワークと支持ベクトルマシンの等価性について
- Authors: Yilan Chen, Wei Huang, Lam M. Nguyen, Tsui-Wei Weng
- Abstract要約: 勾配降下によって訓練された無限広ニューラルネットワーク(NN)の力学は、Tangent Neural Kernel(NTK)によって特徴づけられる
NNとサポートベクトルマシン(SVM)の等価性を確立する。
我々の主要な理論的結果は、NNと有限幅境界を持つ$ell$正規化KMの広いファミリーの同値性を確立することである。
- 参考スコア（独自算出の注目度）: 23.174679357972984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent research shows that the dynamics of an infinitely wide neural network
(NN) trained by gradient descent can be characterized by Neural Tangent Kernel
(NTK) \citep{jacot2018neural}. Under the squared loss, the infinite-width NN
trained by gradient descent with an infinitely small learning rate is
equivalent to kernel regression with NTK \citep{arora2019exact}. However, the
equivalence is only known for ridge regression currently
\citep{arora2019harnessing}, while the equivalence between NN and other kernel
machines (KMs), e.g. support vector machine (SVM), remains unknown. Therefore,
in this work, we propose to establish the equivalence between NN and SVM, and
specifically, the infinitely wide NN trained by soft margin loss and the
standard soft margin SVM with NTK trained by subgradient descent. Our main
theoretical results include establishing the equivalence between NN and a broad
family of $\ell_2$ regularized KMs with finite-width bounds, which cannot be
handled by prior work, and showing that every finite-width NN trained by such
regularized loss functions is approximately a KM. Furthermore, we demonstrate
our theory can enable three practical applications, including (i)
\textit{non-vacuous} generalization bound of NN via the corresponding KM; (ii)
\textit{non-trivial} robustness certificate for the infinite-width NN (while
existing robustness verification methods would provide vacuous bounds); (iii)
intrinsically more robust infinite-width NNs than those from previous kernel
regression. Our code for the experiments are available at
\url{https://github.com/leslie-CH/equiv-nn-svm}.
- Abstract（参考訳）: 近年の研究では、勾配降下によって訓練された無限広ニューラルネットワーク(NN)の力学は、ニューラルタンジェントカーネル(NTK) \citep{jacot2018neural}によって特徴づけられることが示されている。
この二乗損失の下では、勾配降下によって訓練された無限幅NNは、NTK \citep{arora2019exact} のカーネル回帰と等価である。
しかし、この等価性は現在、リッジ回帰でのみ知られているが、NNと他のカーネルマシン(例えば、サポートベクトルマシン(SVM))との等価性は未だ不明である。
そこで本研究では,NN と SVM の等価性,特にソフトマージン損失によって訓練された無限幅の NN と,下位降下により訓練されたNTK を用いた標準ソフトマージン SVM の確立を提案する。
我々の理論結果は、NNと有限幅の有界正規化KMの広いファミリーの等価性を確立することや、そのような正規化損失関数によって訓練されたすべての有限幅NNがおよそ1KMであることを示すことである。
さらに,本理論は3つの実用的応用を可能にすることを実証する。
(i)対応するKMを介して NN の \textit{non-vacuous} 一般化境界
(ii)無限幅NNのロバスト性証明(既存のロバスト性検証手法は空き境界を提供する)
(iii)従来のカーネル回帰より本質的に頑丈な無限幅nn。
実験のコードは \url{https://github.com/leslie-ch/equiv-nn-svm} で利用可能です。
関連論文リスト
- Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証において最も効果的な手法の一つである。
我々は、一般的な非線形性にBaBを実行し、一般的なアーキテクチャでNNを検証する汎用フレームワークGenBaBを開発した。
我々は、Sigmoid、Tanh、Sine、GeLUなどの活性化機能を持つNNを含む幅広いNNの検証におけるGenBaBの有効性を実証する。
論文 参考訳（メタデータ） (2024-05-31T17:51:07Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Neural tangent kernel analysis of shallow $\alpha$-Stable ReLU neural
networks [8.000374471991247]
ガウスNNを一般化した$alpha$-Stable NNの問題を考察する。
ReLU関数を持つ浅い$alpha$-Stable NNに対して、NNの幅が無限大であれば、再スケールした NN は $alpha$-Stable プロセスに弱収束することを示す。
我々の主な貢献は、浅い$alpha$-Stable ReLU-NNのNTK分析であり、これは再スケールNNのトレーニングと$(alpha/)のカーネル回帰の実行の等価性をもたらす。
論文 参考訳（メタデータ） (2022-06-16T10:28:03Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳（メタデータ） (2022-04-22T15:56:43Z) - Deep Learning meets Nonparametric Regression: Are Weight-Decayed DNNs Locally Adaptive? [16.105097124039602]
古典的非パラメトリック回帰問題のレンズからニューラルネットワーク(NN)の理論を研究する。
私たちの研究は、なぜ深さが重要なのか、そしてNNがカーネルメソッドよりも強力であるかについて、新たな光を当てています。
論文 参考訳（メタデータ） (2022-04-20T17:55:16Z) - Deep Stable neural networks: large-width asymptotics and convergence
rates [3.0108936184913295]
NNの層上に幅が無限大になるにつれて、適切な再スケールされたディープ・スタブル・NNは安定SPに弱収束することを示す。
非三角形NNの構造のため、これは非標準問題であり、新しい自己完結型帰納的アプローチを提案する。
論文 参考訳（メタデータ） (2021-08-02T12:18:00Z) - Neural Optimization Kernel: Towards Robust Deep Learning [13.147925376013129]
近年の研究では、ニューラルネットワーク(NN)とカーネルメソッドの関連性が示されている。
本稿では,カーネル(NOK)という新しいカーネルファミリーを提案する。
パラメータ化ディープNN(NOK)は,経験的リスクを低減し,有界一般化を同時に低減できることを示す。
論文 参考訳（メタデータ） (2021-06-11T00:34:55Z) - Weighted Neural Tangent Kernel: A Generalized and Improved
Network-Induced Kernel [20.84988773171639]
Neural Tangent Kernel(NTK)は、勾配降下によって訓練された過剰パラメーターニューラルネットワーク(NN)の進化を記述することで、近年、激しい研究を惹きつけている。
Weighted Neural Tangent Kernel (WNTK) は、一般化された改良されたツールであり、異なる勾配の下でパラメータ化されたNNのトレーニングダイナミクスをキャプチャすることができる。
提案する重み更新アルゴリズムでは,実験値と解析値の両方が,数値実験において対応するntkを上回っている。
論文 参考訳（メタデータ） (2021-03-22T03:16:20Z) - A Generalized Neural Tangent Kernel Analysis for Two-layer Neural
Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。
これは、トレーニング損失が一定の精度まで線形に収束することを意味する。
また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文 参考訳（メタデータ） (2020-02-10T18:56:15Z) - On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。
その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。
しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文 参考訳（メタデータ） (2020-01-28T16:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。