論文の概要: Minimum $\ell_{1}$-norm interpolators: Precise asymptotics and multiple
descent
- arxiv url: http://arxiv.org/abs/2110.09502v1
- Date: Mon, 18 Oct 2021 17:51:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 15:43:59.950208
- Title: Minimum $\ell_{1}$-norm interpolators: Precise asymptotics and multiple
descent
- Title（参考訳）: 最小$\ell_{1}$-norm補間器:正確な漸近性と多重降下
- Authors: Yue Li, Yuting Wei
- Abstract要約: 本稿では、最小$ell_1$-norm補間器という、重要な種類の補間器の理論的理解を追求する。
我々は、奇異な多発現象である厳密な理論的正当化を観察し、提供する。
我々の発見は、2つの未知の非線形方程式からなる2つのシステムによって制御されるリスク行動の正確な特徴に基づいている。
- 参考スコア（独自算出の注目度）: 19.781475554462553
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An evolving line of machine learning works observe empirical evidence that
suggests interpolating estimators -- the ones that achieve zero training error
-- may not necessarily be harmful. This paper pursues theoretical understanding
for an important type of interpolators: the minimum $\ell_{1}$-norm
interpolator, which is motivated by the observation that several learning
algorithms favor low $\ell_1$-norm solutions in the over-parameterized regime.
Concretely, we consider the noisy sparse regression model under Gaussian
design, focusing on linear sparsity and high-dimensional asymptotics (so that
both the number of features and the sparsity level scale proportionally with
the sample size).
We observe, and provide rigorous theoretical justification for, a curious
multi-descent phenomenon; that is, the generalization risk of the minimum
$\ell_1$-norm interpolator undergoes multiple (and possibly more than two)
phases of descent and ascent as one increases the model capacity. This
phenomenon stems from the special structure of the minimum $\ell_1$-norm
interpolator as well as the delicate interplay between the over-parameterized
ratio and the sparsity, thus unveiling a fundamental distinction in geometry
from the minimum $\ell_2$-norm interpolator. Our finding is built upon an exact
characterization of the risk behavior, which is governed by a system of two
non-linear equations with two unknowns.
- Abstract（参考訳）: 機械学習の研究の進化は、補間推定器(トレーニングエラーをゼロにするもの)が必ずしも有害ではないことを示唆する経験的証拠を観察する。
本稿では,最小値$\ell_{1}$-norm補間器の理論的理解を追求する。これは,複数の学習アルゴリズムが,過パラメータ化方式における低値$\ell_1$-norm解を好んでいるという観測から導かれる。
具体的には,ガウス設計下でのノイズ分散回帰モデルについて,線形スパース性および高次元漸近性に着目して考察する(特徴数とスパースレベルがサンプルサイズに比例するように)。
すなわち、最小の$\ell_1$-norm補間器の一般化リスクは、モデル容量を増加させるにつれて、複数の(おそらく2つ以上)降下相と上昇相となる。
この現象は、最小$\ell_1$-norm補間器の特別な構造と、過パラメータ化比とスパーシティの間の微妙な相互作用に起因し、最小$\ell_2$-norm補間器から幾何の基本的な区別を明らかにする。
我々の発見は、2つの未知の非線形方程式からなる2つのシステムによって制御されるリスク行動の正確な特徴に基づいている。
関連論文リスト
- Understanding the Double Descent Phenomenon in Deep Learning [49.1574468325115]
このチュートリアルは、古典的な統計学習の枠組みを設定し、二重降下現象を導入する。
いくつかの例を見て、セクション2では、二重降下において重要な役割を果たすと思われる帰納的バイアスを導入している。
第3節は2つの線形モデルで二重降下を探索し、最近の関連する研究から他の視点を提供する。
論文 参考訳（メタデータ） (2024-03-15T16:51:24Z) - Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。
我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
論文 参考訳（メタデータ） (2023-02-03T03:19:14Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Deep Linear Networks can Benignly Overfit when Shallow Ones Do [16.1176305285103]
ランダムに深い線形ネットワークは、最小$ell$-norm補間器の既知境界に密接な近似や整合が可能であることを示す。
解析により、深い線形モデルの補間は最小$ell$-norm解と全く同じ条件分散を持つことが明らかになった。
論文 参考訳（メタデータ） (2022-09-19T19:23:04Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Minimax Supervised Clustering in the Anisotropic Gaussian Mixture Model:
A new take on Robust Interpolation [5.98367009147573]
2成分異方性ガウス混合モデルに基づくクラスタリング問題について検討する。
その結果, 線形判別分析(LDA)分類器は, ミニマックス感において準最適であることが判明した。
論文 参考訳（メタデータ） (2021-11-13T05:19:37Z) - Learning Gaussian Mixtures with Generalised Linear Models: Precise
Asymptotics in High-dimensions [79.35722941720734]
多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。
実験的リスク最小化による高次元推定器の精度を実証する。
合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
論文 参考訳（メタデータ） (2021-06-07T16:53:56Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - On the robustness of minimum-norm interpolators [0.0]
本稿では,線形モデルにおける最小ノルム補間推定器に関する一般理論を,加法的,潜在的に対角的,誤差の存在下で展開する。
誤差の最小ノルム補間子のラデマッハノルムと、真のパラメータの周りの部分微分の形状に関する、予測誤差の定量的境界が与えられる。
論文 参考訳（メタデータ） (2020-12-01T20:03:20Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。