Fugu-MT 論文翻訳(概要): Double Descent: Understanding Linear Model Estimation of Nonidentifiable Parameters and a Model for Overfitting

論文の概要: Double Descent: Understanding Linear Model Estimation of Nonidentifiable Parameters and a Model for Overfitting

arxiv url: http://arxiv.org/abs/2408.13235v1
Date: Fri, 23 Aug 2024 17:19:17 GMT
ステータス: 処理完了
システム内更新日: 2024-08-26 14:11:01.045963
Title: Double Descent: Understanding Linear Model Estimation of Nonidentifiable Parameters and a Model for Overfitting
Title（参考訳）: Double Descent:不特定パラメータの線形モデル推定とオーバーフィッティングモデル
Authors: Ronald Christensen,
Abstract要約: 我々は、最小二乗推定における通常の最小二乗推定と変分を考察する。 p>nと関連する問題と、新しい観測結果の予測について論じる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider ordinary least squares estimation and variations on least squares estimation such as penalized (regularized) least squares and spectral shrinkage estimates for problems with p > n and associated problems with prediction of new observations. After the introduction of Section 1, Section 2 examines a number of commonly used estimators for p > n. Section 3 introduces prediction with p > n. Section 4 introduces notational changes to facilitate discussion of overfitting and Section 5 illustrates the phenomenon of double descent. We conclude with some final comments.
Abstract（参考訳）: p>n 問題に対するペナル化(正規化)最小二乗推定やスペクトル縮小推定など、最小二乗推定における通常の最小二乗推定と変分と、新しい観測結果の予測に関する問題を考える。第1節の導入後、第2節は、p > n に対してよく使われる多くの推定器を調べる。第3節は p > n で予測を導入する。第4節では過度な適合の議論を促すために記法の変更を導入し、第5節では二重降下の現象を説明している。最終的なコメントで締めくくります。

関連論文リスト

Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
論文参考訳（メタデータ） (2023-11-08T15:17:13Z)
A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。これは二重降下と統計的直観の間の緊張を解消する。
論文参考訳（メタデータ） (2023-10-29T12:05:39Z)
Law of Large Numbers for Bayesian two-layer Neural Network trained with Variational Inference [0.0]
ベイズニューラルネットワークの変分推論(VI)によるトレーニングの厳密な分析を行う。 3つの異なるトレーニングスキームに対して、多数の法則を証明します。重要な結果は、すべてのメソッドが同じ平均場極限に収束することである。
論文参考訳（メタデータ） (2023-07-10T07:50:09Z)
Ensembled Prediction Intervals for Causal Outcomes Under Hidden Confounding [49.1865229301561]
本稿では,既存の因果感受性モデルを用いた部分同定手法を提案し,Caus-Modensがより厳密な結果区間を与えることを示す。 3つの異なるベンチマークのうち最後のものは、未知だが探究可能な基底真理を持つ観測実験にGPT-4を新たに使用することである。
論文参考訳（メタデータ） (2023-06-15T21:42:40Z)
Least Squares Regression Can Exhibit Under-Parameterized Double Descent [6.645111950779666]
本研究では,学習データ点数,パラメータ数,モデルの一般化能力の関係について検討する。ピークの位置は、スペクトルとサンプル共分散の固有ベクトルの両方の技術的性質に依存すると仮定する。
論文参考訳（メタデータ） (2023-05-24T03:52:48Z)
High-dimensional analysis of double descent for linear regression with random projections [0.0]
ランダムな投影数が異なる線形回帰問題を考察し、固定された予測問題に対する二重降下曲線を確実に示す。まず、リッジ回帰推定器を考察し、非パラメトリック統計学の古典的概念を用いて先行結果を再解釈する。次に、最小ノルム最小二乗の一般化性能(バイアスと分散の観点から)の同値をランダムな射影に適合させ、二重降下現象の単純な表現を与える。
論文参考訳（メタデータ） (2023-03-02T15:58:09Z)
Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
論文参考訳（メタデータ） (2022-05-25T17:41:40Z)
Joint Forecasting of Panoptic Segmentations with Difference Attention [72.03470153917189]
シーン内の全てのオブジェクトを共同で予測する新しいパノプティックセグメンテーション予測モデルについて検討する。提案したモデルをCityscapesとAIODriveデータセット上で評価する。
論文参考訳（メタデータ） (2022-04-14T17:59:32Z)
On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
論文参考訳（メタデータ） (2021-07-27T09:13:11Z)
Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。これは平均二乗誤差を確実に減少させる。これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
論文参考訳（メタデータ） (2020-10-09T22:54:38Z)
Non-asymptotic Optimal Prediction Error for Growing-dimensional Partially Functional Linear Models [0.951828574518325]
予測誤差の最大値と最大値の上限を示す。過剰な予測リスクの正確な上限は、非漸近的な形で示される。モデルのKulback-Leibler分散の正則性仮定の下で、非漸近ミニマックス下界を導出する。
論文参考訳（メタデータ） (2020-09-10T08:49:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。