論文の概要: Generalization Error of Generalized Linear Models in High Dimensions
- arxiv url: http://arxiv.org/abs/2005.00180v1
- Date: Fri, 1 May 2020 02:17:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 23:10:15.000402
- Title: Generalization Error of Generalized Linear Models in High Dimensions
- Title（参考訳）: 高次元における一般化線形モデルの一般化誤差
- Authors: Melikasadat Emami, Mojtaba Sahraee-Ardakan, Parthe Pandit, Sundeep
Rangan, Alyson K. Fletcher
- Abstract要約: 任意の非線形性を持つニューラルネットワークを特徴付けるためのフレームワークを提供する。
正規ロジスティック回帰が学習に与える影響を解析する。
また,本モデルでは,特別事例の学習と配布の事例も捉えている。
- 参考スコア（独自算出の注目度）: 25.635225717360466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: At the heart of machine learning lies the question of generalizability of
learned rules over previously unseen data. While over-parameterized models
based on neural networks are now ubiquitous in machine learning applications,
our understanding of their generalization capabilities is incomplete. This task
is made harder by the non-convexity of the underlying learning problems. We
provide a general framework to characterize the asymptotic generalization error
for single-layer neural networks (i.e., generalized linear models) with
arbitrary non-linearities, making it applicable to regression as well as
classification problems. This framework enables analyzing the effect of (i)
over-parameterization and non-linearity during modeling; and (ii) choices of
loss function, initialization, and regularizer during learning. Our model also
captures mismatch between training and test distributions. As examples, we
analyze a few special cases, namely linear regression and logistic regression.
We are also able to rigorously and analytically explain the \emph{double
descent} phenomenon in generalized linear models.
- Abstract（参考訳）: 機械学習の核心は、これまで目に見えないデータよりも学習ルールの一般化性にある。
ニューラルネットワークに基づく過剰パラメータモデルは現在、機械学習アプリケーションにおいてユビキタスだが、その一般化能力に対する我々の理解は不完全である。
このタスクは、基礎となる学習問題の非凸性によって難しくなる。
我々は、任意の非線形性を持つ単層ニューラルネットワーク(一般化線形モデル)の漸近一般化誤差を特徴付ける一般的なフレームワークを提供し、回帰や分類問題に適用できる。
このフレームワークは効果を分析することができる
(i)モデリング中の過パラメータ化及び非線形性
(ii)学習中の損失関数、初期化、正規化の選択。
私たちのモデルは、トレーニングとテスト分布のミスマッチもキャプチャします。
例として、線形回帰とロジスティック回帰という特殊な事例をいくつか分析する。
また,一般化線形モデルにおいて,emph{double descend}現象を厳密かつ解析的に説明することができる。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳（メタデータ） (2022-06-09T17:12:32Z) - Towards Data-Algorithm Dependent Generalization: a Case Study on
Overparameterized Linear Regression [19.047997113063147]
本稿では,データ依存学習軌跡全体の一般化挙動を考察したデータ-アルゴリズム整合性の概念を提案する。
我々は、データ依存軌道解析を行い、そのような環境での互換性に十分な条件を導出する。
論文 参考訳（メタデータ） (2022-02-12T12:42:36Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳（メタデータ） (2021-06-15T18:34:41Z) - Lower Bounds on the Generalization Error of Nonlinear Learning Models [2.1030878979833467]
本稿では,多層ニューラルネットワークから導出したモデルの一般化誤差に対する下限について,学習データ中のサンプル数と層の大きさが一致した状況下で検討する。
偏りのない推定器は,このような非線形ネットワークでは受け入れられない性能を示す。
線形回帰や2層ネットワークの場合、一般偏差推定器の明示的な一般化の下界を導出する。
論文 参考訳（メタデータ） (2021-03-26T20:37:54Z) - Asymptotics of Ridge Regression in Convolutional Models [26.910291664252973]
特定の高次元状態にある尾根推定器の推定誤差の正確な式を導出する。
畳み込みモデルに対する実験では, 二重降下現象を示し, 理論結果が実験と一致することを示した。
論文 参考訳（メタデータ） (2021-03-08T05:56:43Z) - Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。
我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
論文 参考訳（メタデータ） (2021-03-02T06:59:52Z) - The Neural Tangent Kernel in High Dimensions: Triple Descent and a
Multi-Scale Theory of Generalization [34.235007566913396]
現代のディープラーニングモデルでは、トレーニングデータに適合するために必要なパラメータよりもはるかに多くのパラメータが採用されている。
この予期せぬ振る舞いを記述するための新たなパラダイムは、エンファンダブル降下曲線(英語版)である。
本稿では,勾配降下を伴う広帯域ニューラルネットワークの挙動を特徴付けるニューラル・タンジェント・カーネルを用いた一般化の高精度な高次元解析を行う。
論文 参考訳（メタデータ） (2020-08-15T20:55:40Z) - Spectral Bias and Task-Model Alignment Explain Generalization in Kernel
Regression and Infinitely Wide Neural Networks [17.188280334580195]
トレーニングデータセットを越えた一般化は、マシンラーニングの主な目標である。
最近のディープニューラルネットワークの観測は、古典統計学の従来の知恵と矛盾している。
より多くのデータが、カーネルがノイズや表現できないときに一般化を損なう可能性があることを示す。
論文 参考訳（メタデータ） (2020-06-23T17:53:11Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。