論文の概要: Precise analysis of ridge interpolators under heavy correlations -- a Random Duality Theory view

• arxiv url: http://arxiv.org/abs/2406.09199v1
• Date: Thu, 13 Jun 2024 14:56:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 17:14:49.380229
• Title: Precise analysis of ridge interpolators under heavy correlations -- a Random Duality Theory view
• Title（参考訳）: 重相関下における尾根補間器の精密解析-ランダム二重性理論の観点から
• Authors: Mihailo Stojnic,
• Abstract要約: EmphRandom Duality Theory (RDT) を用いて, 関心量の最適化に係わるすべての推定器の正確なクローズドな形状のキャラクタリゼーションが得られることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider fully row/column-correlated linear regression models and study several classical estimators (including minimum norm interpolators (GLS), ordinary least squares (LS), and ridge regressors). We show that \emph{Random Duality Theory} (RDT) can be utilized to obtain precise closed form characterizations of all estimators related optimizing quantities of interest, including the \emph{prediction risk} (testing or generalization error). On a qualitative level out results recover the risk's well known non-monotonic (so-called double-descent) behavior as the number of features/sample size ratio increases. On a quantitative level, our closed form results show how the risk explicitly depends on all key model parameters, including the problem dimensions and covariance matrices. Moreover, a special case of our results, obtained when intra-sample (or time-series) correlations are not present, precisely match the corresponding ones obtained via spectral methods in [6,16,17,24].
• Abstract（参考訳）: 完全行/カラム関連線形回帰モデルを検討し、いくつかの古典的推定器(最小ノルム補間器(GLS)、通常最小二乗法(LS)、リッジ回帰器など)について検討する。 提案手法は, 有意値の最大化量(検定や一般化誤差)を含むすべての推定値について, 厳密な閉形式的特徴量を得るのに有効であることを示す。 定性的レベルのアウトでは、特徴/サンプルサイズ比が増加するにつれて、リスクのよく知られた非単調(いわゆる二重発振)な振る舞いが回復する。 定量レベルでは, リスクが問題次元や共分散行列を含むすべての主要なモデルパラメータに明示的に依存することを示す。 さらに, [6,16,17,24] のスペクトル法を用いて得られた結果と, サンプル内(または時系列)相関が存在しない場合に, 精度良く一致した結果が得られた。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Ridge interpolators in correlated factor regression models -- exact risk analysis [0.0]
  我々は、相関型エンフェール回帰モデル(FRM)を考察し、古典的なリッジ補間器の性能を解析する。 我々は,すべてのキーモデルパラメータへの依存性を明確に示し,予測リスクのキャラクタリゼーションを提供する。
  論文  参考訳（メタデータ） (2024-06-13T14:46:08Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• Optimistic Rates: A Unifying Theory for Interpolation Learning and Regularization in Linear Regression [35.78863301525758]
  我々は「最適化率」として知られる一様収束の局所的概念を研究する。 改良された解析は既存の結果の隠れ定数と対数係数を回避している。
  論文  参考訳（メタデータ） (2021-12-08T18:55:00Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。