論文の概要: Out-of-Distribution Generalization in Kernel Regression
- arxiv url: http://arxiv.org/abs/2106.02261v1
- Date: Fri, 4 Jun 2021 04:54:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-08 04:58:59.190911
- Title: Out-of-Distribution Generalization in Kernel Regression
- Title(参考訳): カーネル回帰における分布外一般化
- Authors: Abdulkadir Canatar, Blake Bordelon, Cengiz Pehlevan
- Abstract要約: トレーニングとテストの分布が異なる場合のカーネル回帰の一般化について検討する。
与えられたカーネルの分布間のミスマッチを定量化する重なり行列を同定する。
本研究では,データ予算に対するトレーニングとテストの配分を最適化する手法を開発し,そのシフトの下で最良のケースと最悪のケースの一般化を求める。
- 参考スコア(独自算出の注目度): 21.958028127426196
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In real word applications, data generating process for training a machine
learning model often differs from what the model encounters in the test stage.
Understanding how and whether machine learning models generalize under such
distributional shifts have been a theoretical challenge. Here, we study
generalization in kernel regression when the training and test distributions
are different using methods from statistical physics. Using the replica method,
we derive an analytical formula for the out-of-distribution generalization
error applicable to any kernel and real datasets. We identify an overlap matrix
that quantifies the mismatch between distributions for a given kernel as a key
determinant of generalization performance under distribution shift. Using our
analytical expressions we elucidate various generalization phenomena including
possible improvement in generalization when there is a mismatch. We develop
procedures for optimizing training and test distributions for a given data
budget to find best and worst case generalizations under the shift. We present
applications of our theory to real and synthetic datasets and for many kernels.
We compare results of our theory applied to Neural Tangent Kernel with
simulations of wide networks and show agreement. We analyze linear regression
in further depth.
- Abstract(参考訳): 実語アプリケーションでは、機械学習モデルをトレーニングするためのデータ生成プロセスは、テスト段階でモデルが遭遇するものとは異なることが多い。
このような分散シフトの下で機械学習モデルがどのように一般化されるかを理解することは理論的課題である。
本稿では,統計物理学の手法を用いて,トレーニング分布とテスト分布が異なる場合のカーネル回帰の一般化について検討する。
レプリカ法を用いて,任意のカーネルおよび実データセットに適用可能な分布外一般化誤差の解析式を導出する。
分布シフトにおける一般化性能の重要な決定要因として,与えられたカーネルの分布間のミスマッチを定量化する重なり行列を同定する。
解析式を用いて、ミスマッチが発生した場合の一般化の改善を含む様々な一般化現象を解明する。
我々は,与えられたデータ予算のトレーニングとテスト分布を最適化し,そのシフト下で最良かつ最悪の場合の一般化を求める手順を開発した。
我々は,本理論を実および合成データセットおよび多くのカーネルに適用する。
神経接核に適用した理論の結果と,広帯域ネットワークのシミュレーションを比較し,一致を示す。
線形回帰をさらに深く分析する。
関連論文リスト
- Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳(メタデータ) (2023-09-02T01:27:53Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳(メタデータ) (2022-05-25T17:37:08Z) - More Than a Toy: Random Matrix Models Predict How Real-World Neural
Representations Generalize [94.70343385404203]
ほとんどの理論解析は、カーネル回帰においても定性的現象を捉えるには不十分であることがわかった。
古典的GCV推定器は局所確率行列法則が成立するたびに一般化リスクに収束することを示す。
この結果から, ランダム行列理論は, 実際には神経表現の性質を理解する上で重要である可能性が示唆された。
論文 参考訳(メタデータ) (2022-03-11T18:59:01Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳(メタデータ) (2021-06-15T18:34:41Z) - Linear Regression with Distributed Learning: A Generalization Error
Perspective [0.0]
大規模線形回帰のための分散学習の性能を検討する。
我々は、一般化エラー、すなわち、見当たらないデータのパフォーマンスに焦点を当てる。
その結果、分散ソリューションの一般化誤差は、集中ソリューションの一般化誤差よりも大幅に高いことが示された。
論文 参考訳(メタデータ) (2021-01-22T08:43:28Z) - Spectral Bias and Task-Model Alignment Explain Generalization in Kernel
Regression and Infinitely Wide Neural Networks [17.188280334580195]
トレーニングデータセットを越えた一般化は、マシンラーニングの主な目標である。
最近のディープニューラルネットワークの観測は、古典統計学の従来の知恵と矛盾している。
より多くのデータが、カーネルがノイズや表現できないときに一般化を損なう可能性があることを示す。
論文 参考訳(メタデータ) (2020-06-23T17:53:11Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - Generalization Error of Generalized Linear Models in High Dimensions [25.635225717360466]
任意の非線形性を持つニューラルネットワークを特徴付けるためのフレームワークを提供する。
正規ロジスティック回帰が学習に与える影響を解析する。
また,本モデルでは,特別事例の学習と配布の事例も捉えている。
論文 参考訳(メタデータ) (2020-05-01T02:17:47Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳(メタデータ) (2020-05-01T02:08:58Z) - Spectrum Dependent Learning Curves in Kernel Regression and Wide Neural
Networks [17.188280334580195]
トレーニングサンプル数の関数として,カーネル回帰の一般化性能に関する解析式を導出する。
我々の表現は、トレーニングとニューラルカーネル・タンジェント(NTK)によるカーネル回帰の等価性により、広いニューラルネットワークに適用される。
我々は、合成データとMNISTデータセットのシミュレーションを用いて、我々の理論を検証する。
論文 参考訳(メタデータ) (2020-02-07T00:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。