論文の概要: Neural Tangent Kernel Eigenvalues Accurately Predict Generalization
- arxiv url: http://arxiv.org/abs/2110.03922v1
- Date: Fri, 8 Oct 2021 06:32:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 00:26:54.561740
- Title: Neural Tangent Kernel Eigenvalues Accurately Predict Generalization
- Title（参考訳）: ニューラルタンジェントカーネル固有値の正確な予測一般化
- Authors: James B. Simon, Madeline Dickens, Michael R. DeWeese
- Abstract要約: ニューラルネットワークの「ニューラルタンジェントカーネル」の固有系を調べることにより、任意の関数を学習する際に、その一般化性能を予測することができることを示す。
また、広義のニューラルネットワークの帰納バイアスの基本的なトレードオフを特徴付ける新しい「ノー・フリー・ランチ」定理を証明した。
我々の理論は無限幅アーキテクチャのために導かれるが、幅20の狭いネットワークと一致する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Finding a quantitative theory of neural network generalization has long been
a central goal of deep learning research. We extend recent results to
demonstrate that, by examining the eigensystem of a neural network's "neural
tangent kernel", one can predict its generalization performance when learning
arbitrary functions. Our theory accurately predicts not only test
mean-squared-error but all first- and second-order statistics of the network's
learned function. Furthermore, using a measure quantifying the "learnability"
of a given target function, we prove a new "no-free-lunch" theorem
characterizing a fundamental tradeoff in the inductive bias of wide neural
networks: improving a network's generalization for a given target function must
worsen its generalization for orthogonal functions. We further demonstrate the
utility of our theory by analytically predicting two surprising phenomena -
worse-than-chance generalization on hard-to-learn functions and nonmonotonic
error curves in the small data regime - which we subsequently observe in
experiments. Though our theory is derived for infinite-width architectures, we
find it agrees with networks as narrow as width 20, suggesting it is predictive
of generalization in practical neural networks. Code replicating our results is
available at https://github.com/james-simon/eigenlearning .
- Abstract（参考訳）: ニューラルネットワークの一般化に関する定量的な理論を見つけることは、ディープラーニング研究の中心的な目標である。
ニューラルネットワークの「ニューラルタンジェントカーネル」の固有系を調べることにより、任意の関数を学習する際に、その一般化性能を予測することができることを示す。
本理論は,平均二乗誤差だけでなく,ネットワークの学習関数の1次および2次統計量を正確に予測する。
さらに、与えられた対象関数の「学習可能性」を定量化する尺度を用いて、広範ニューラルネットワークの帰納バイアスの基本的なトレードオフを特徴付ける新しい「自由言語」定理を証明し、与えられた対象関数に対するネットワークの一般化を改善することで、直交関数の一般化が悪化する。
我々はさらに,小型データレジームにおけるハード・トゥ・リーン関数と非単調誤差曲線の2つの驚くべき一般化を解析的に予測し,理論の有用性を実証する。
我々の理論は無限幅アーキテクチャのために導出されているが、幅20ほど狭いネットワークと一致していることは、実用的なニューラルネットワークにおける一般化の予測であることを示唆している。
結果を複製するコードはhttps://github.com/james-simon/eigenlearningで閲覧できます。
関連論文リスト
- An In-depth Investigation of Sparse Rate Reduction in Transformer-like Models [32.04194224236952]
スパースレートリダクション(SRR)と呼ばれる情報理論目的関数を提案する。
SRRは正の相関係数を持ち、パスノルムやシャープネスベースなど他の基準値よりも優れていることを示す。
ベンチマーク画像分類データセットの正規化として,SRRを用いて一般化を改善することができることを示す。
論文 参考訳（メタデータ） (2024-11-26T07:44:57Z) - Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning [33.34053480377887]
本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレスレグレッションを強化する。
初めて、LAB RBFカーネルから学習した関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
論文 参考訳（メタデータ） (2024-06-03T15:28:12Z) - Provably Efficient Partially Observable Risk-Sensitive Reinforcement
Learning with Hindsight Observation [35.278669159850146]
本稿では,後方観測を部分的に観測可能な決定プロセス(POMDP)フレームワークに統合する新しい定式化を提案する。
本研究では,この設定に適したRLアルゴリズムを初めて提案する。
これらの手法は、強化学習の理論的研究に特に関心がある。
論文 参考訳（メタデータ） (2024-02-28T08:24:06Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。
CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。
NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
論文 参考訳（メタデータ） (2023-10-28T06:41:47Z) - Learning Expressive Priors for Generalization and Uncertainty Estimation
in Neural Networks [77.89179552509887]
本稿では,ディープニューラルネットワークにおける一般化と不確実性推定を推し進める新しい事前学習手法を提案する。
キーとなる考え方は、ニューラルネットワークのスケーラブルで構造化された後部を、一般化を保証する情報的事前として活用することである。
本研究では,不確実性推定と一般化における本手法の有効性を徹底的に示す。
論文 参考訳（メタデータ） (2023-07-15T09:24:33Z) - Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。
我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
論文 参考訳（メタデータ） (2023-05-31T08:13:14Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳（メタデータ） (2022-09-19T18:48:00Z) - The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。
我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
論文 参考訳（メタデータ） (2022-05-20T10:10:32Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z) - Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。
穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。
また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
論文 参考訳（メタデータ） (2022-02-01T17:46:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。