論文の概要: Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics
for Convex Losses in High-Dimension
- arxiv url: http://arxiv.org/abs/2201.13383v1
- Date: Mon, 31 Jan 2022 17:44:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 16:15:09.312366
- Title: Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics
for Convex Losses in High-Dimension
- Title（参考訳）: 学習者のゆらぎ・バイアス・分散・アンサンブル:高次元凸損失の漸近性について
- Authors: Bruno Loureiro and C\'edric Gerbelot and Maria Refinetti and Gabriele
Sicuro and Florent Krzakala
- Abstract要約: 我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。
一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
- 参考スコア（独自算出の注目度）: 25.711297863946193
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: From the sampling of data to the initialisation of parameters, randomness is
ubiquitous in modern Machine Learning practice. Understanding the statistical
fluctuations engendered by the different sources of randomness in prediction is
therefore key to understanding robust generalisation. In this manuscript we
develop a quantitative and rigorous theory for the study of fluctuations in an
ensemble of generalised linear models trained on different, but correlated,
features in high-dimensions. In particular, we provide a complete description
of the asymptotic joint distribution of the empirical risk minimiser for
generic convex loss and regularisation in the high-dimensional limit. Our
result encompasses a rich set of classification and regression tasks, such as
the lazy regime of overparametrised neural networks, or equivalently the random
features approximation of kernels. While allowing to study directly the
mitigating effect of ensembling (or bagging) on the bias-variance decomposition
of the test error, our analysis also helps disentangle the contribution of
statistical fluctuations, and the singular role played by the interpolation
threshold that are at the roots of the "double-descent" phenomenon.
- Abstract（参考訳）: データのサンプリングからパラメータの初期化まで、ランダムネスは現代の機械学習の実践においてユビキタスである。
したがって、予測における異なるランダム性源によって引き起こされる統計的ゆらぎを理解することは、堅牢な一般化を理解するための鍵となる。
本論文では,高次元の異なる,しかし相関の深い一般線形モデルの集合における揺らぎの研究のための定量的かつ厳密な理論を開発する。
特に, 一般凸損失と高次元限界の正規化のための経験的リスク最小化器の漸近的関節分布の完全な記述について述べる。
我々の結果は、過度にパラメータ化されたニューラルネットワークの遅延状態や、カーネルのランダムな特徴近似のような、豊富な分類と回帰タスクを含む。
テスト誤差のバイアス分散分解におけるアンサンブル(またはバッグング)の緩和効果を直接研究できる一方で、統計的変動の寄与と「二重発散現象」の根元にある補間しきい値によって引き起こされる特異な役割の解消にも寄与する。
関連論文リスト
- GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples
using Gradients and Invariance Transformations [77.34726150561087]
本稿では,ディープニューラルネットワークにおける一般化誤差検出のための総合的アプローチを提案する。
GITは勾配情報と不変変換の利用を組み合わせる。
本実験は,各種ネットワークアーキテクチャの最先端技術と比較して,GITの優れた性能を示すものである。
論文 参考訳（メタデータ） (2023-07-05T22:04:38Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳（メタデータ） (2023-06-04T02:32:12Z) - Classification of Heavy-tailed Features in High Dimensions: a
Superstatistical Approach [1.4469725791865984]
我々は2つのデータポイントの雲と一般的なセントロイドの混合の学習を特徴付ける。
得られた推定器の一般化性能について検討し、正規化の役割を解析し、分離性遷移を解析した。
論文 参考訳（メタデータ） (2023-04-06T07:53:05Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳（メタデータ） (2021-12-02T14:45:16Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳（メタデータ） (2021-08-25T22:01:01Z) - Uniform Convergence, Adversarial Spheres and a Simple Remedy [40.44709296304123]
これまでの研究は、統一収束の一般的な枠組みと、ニューラルネットワークの一般化を説明する能力に疑問を投げかけてきた。
我々は、無限大モデルのレンズを通して、以前に研究されたデータセットの広範な理論的検討を行う。
我々は、ニューラルタンジェントカーネル(NTK)も同じ現象に苦しむことを証明し、その起源を明らかにします。
論文 参考訳（メタデータ） (2021-05-07T20:23:01Z) - Understanding Double Descent Requires a Fine-Grained Bias-Variance
Decomposition [34.235007566913396]
ラベルに関連付けられた用語への分散の解釈可能で対称的な分解について述べる。
バイアスはネットワーク幅とともに単調に減少するが、分散項は非単調な振る舞いを示す。
我々はまた、著しく豊かな現象論も分析する。
論文 参考訳（メタデータ） (2020-11-04T21:04:02Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - Generalisation error in learning with random features and the hidden
manifold model [23.71637173968353]
合成データセットの一般線形回帰と分類について検討した。
我々は,高次元構造を考察し,統計物理学からのレプリカ法を用いる。
閾値をピークとしたロジスティック回帰のためのいわゆる二重降下挙動を得る方法を示す。
隠れ多様体モデルにより生成されたデータにおいて相関関係が果たす役割について論じる。
論文 参考訳（メタデータ） (2020-02-21T14:49:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。