論文の概要: Algebraic and Statistical Properties of the Ordinary Least Squares
Interpolator
- arxiv url: http://arxiv.org/abs/2309.15769v1
- Date: Wed, 27 Sep 2023 16:41:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-28 12:53:45.602520
- Title: Algebraic and Statistical Properties of the Ordinary Least Squares
Interpolator
- Title(参考訳): 普通最小方形補間器の代数的および統計的特性
- Authors: Dennis Shen, Dogyoon Song, Peng Ding and Jasjeet S. Sekhon
- Abstract要約: 我々は最小$ell$-norm OLS補間器について結果を提供する。
その結果、OLS補間器が一般化し、因果推論に実質的な意味を持つ能力を理解するのに役立ちます。
ガウス・マルコフモデルの下では、ガウス・マルコフの定理の高次元拡張のような統計的結果を示す。
- 参考スコア(独自算出の注目度): 3.749230667146314
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning research has uncovered the phenomenon of benign overfitting for
over-parameterized statistical models, which has drawn significant theoretical
interest in recent years. Given its simplicity and practicality, the ordinary
least squares (OLS) interpolator has become essential to gain foundational
insights into this phenomenon. While properties of OLS are well established in
classical settings, its behavior in high-dimensional settings is less explored
(unlike for ridge or lasso regression) though significant progress has been
made of late. We contribute to this growing literature by providing fundamental
algebraic and statistical results for the minimum $\ell_2$-norm OLS
interpolator. In particular, we provide high-dimensional algebraic equivalents
of (i) the leave-$k$-out residual formula, (ii) Cochran's formula, and (iii)
the Frisch-Waugh-Lovell theorem. These results aid in understanding the OLS
interpolator's ability to generalize and have substantive implications for
causal inference. Additionally, under the Gauss-Markov model, we present
statistical results such as a high-dimensional extension of the Gauss-Markov
theorem and an analysis of variance estimation under homoskedastic errors. To
substantiate our theoretical contributions, we conduct simulation studies that
further explore the stochastic properties of the OLS interpolator.
- Abstract(参考訳): 深層学習研究により、過度パラメータ化統計モデルに対する良性過剰適合現象が明らかにされ、近年は重要な理論的な関心を集めている。
その単純さと実用性を考えると、通常の最小二乗(ols)補間器は、この現象に関する基礎的な洞察を得るために必須である。
OLSの特性は古典的な設定ではよく確立されているが、高次元環境での挙動は(尾根やラッソレグレッションとは異なり)解明されていない。
我々は、最小$$\ell_2$-norm OLS補間子に対して代数的および統計的結果を提供することにより、この成長する文献に寄与する。
特に、我々は高次元代数的同値を与える。
(i)残余公式の残高-$k$-out
(ii)コクランの公式、及び
(iii) フリッシュ=ヴォー=ラヴエルの定理。
これらの結果は、OLS補間器の一般化能力の理解に役立ち、因果推論に実質的な意味を持つ。
さらに,gauss-markovモデルの下では,gauss-markov定理の高次元拡張やホモスケシュタスティック誤差下の分散推定の解析などの統計的結果を示す。
理論的な貢献を証明するために、我々はols補間器の確率的性質をさらに探究するシミュレーション研究を行う。
関連論文リスト
- A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Stochastic approximation analysis of dynamical quantum critical
phenomena in long-range transverse-field Ising chain [0.0]
量子モンテカルロ法と最適計算複雑性スケーリングと最適化を組み合わせることにより、長距離横フィールドイジングモデルの量子相転移を探索する。
長距離相互作用の崩壊速度を計算し、力学臨界指数と他の指数を平均場、非ユニバーサル、イジング普遍性系で正確に計算する。
我々のシミュレーションでは、臨界特性はL$の異なる一連のシミュレーションからのみ抽出され、標準的な有限サイズスケーリング手法と比較して計算コストが大幅に向上する。
論文 参考訳(メタデータ) (2023-05-23T14:46:16Z) - Gradient flow in the gaussian covariate model: exact solution of
learning curves and multiple descent structures [14.578025146641806]
一般化曲線の全時間進化を完全かつ統一的に解析する。
この理論予測は,現実的なデータセットよりも勾配降下によって得られる学習曲線と適切に一致していることを示す。
論文 参考訳(メタデータ) (2022-12-13T17:39:18Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳(メタデータ) (2022-01-25T17:13:56Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳(メタデータ) (2021-12-02T14:45:16Z) - A Farewell to the Bias-Variance Tradeoff? An Overview of the Theory of
Overparameterized Machine Learning [37.01683478234978]
機械学習(ML)の急速な進歩は、この分野の長年のドグマに挑戦する科学的な疑問を数多く提起している。
最も重要なライドルの1つは、パラメータ化されたモデルの優れた経験的一般化である。
論文 参考訳(メタデータ) (2021-09-06T10:48:40Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳(メタデータ) (2021-08-25T22:01:01Z) - Learning Gaussian Mixtures with Generalised Linear Models: Precise
Asymptotics in High-dimensions [79.35722941720734]
多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。
実験的リスク最小化による高次元推定器の精度を実証する。
合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
論文 参考訳(メタデータ) (2021-06-07T16:53:56Z) - Out-of-time-order correlations and the fine structure of eigenstate
thermalisation [58.720142291102135]
量子情報力学と熱化を特徴付けるツールとして、OTOC(Out-of-time-orderor)が確立されている。
我々は、OTOCが、ETH(Eigenstate Thermalisation hypothesis)の詳細な詳細を調査するための、本当に正確なツールであることを明確に示している。
無限温度状態における局所作用素の和からなる可観測物の一般クラスに対して、$omega_textrmGOE$の有限サイズスケーリングを推定する。
論文 参考訳(メタデータ) (2021-03-01T17:51:46Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z) - Learning CHARME models with neural networks [1.5362025549031046]
我々はCHARME(Conditional Heteroscedastic Autoregressive Mixture of Experts)と呼ばれるモデルを考える。
そこで本研究では,NNに基づく自己回帰関数の学習理論を開発した。
論文 参考訳(メタデータ) (2020-02-08T21:51:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。