論文の概要: Simultaneous analysis of approximate leave-one-out cross-validation and mean-field inference

• arxiv url: http://arxiv.org/abs/2501.02624v1
• Date: Sun, 05 Jan 2025 18:34:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:06:20.952615
• Title: Simultaneous analysis of approximate leave-one-out cross-validation and mean-field inference
• Title（参考訳）: 平均場推定とほぼ一対一のクロスバリデーションの同時解析
• Authors: Pierre C Bellec,
• Abstract要約: アロキシマト・リート・ワン・アウトインデックス・クロス・バリデーション (ALO-CV) は高次元状態における単一一般化の誤差を推定する手法である。 ALO-CVは、ALO-CVが残余量と線形誤差項に近似する証拠を提供する。
• 参考スコア（独自算出の注目度）: 3.5353632767823506
• License:
• Abstract: Approximate Leave-One-Out Cross-Validation (ALO-CV) is a method that has been proposed to estimate the generalization error of a regularized estimator in the high-dimensional regime where dimension and sample size are of the same order, the so called ``proportional regime''. A new analysis is developed to derive the consistency of ALO-CV for non-differentiable regularizer under Gaussian covariates and strong-convexity of the regularizer. Using a conditioning argument, the difference between the ALO-CV weights and their counterparts in mean-field inference is shown to be small. Combined with upper bounds between the mean-field inference estimate and the leave-one-out quantity, this provides a proof that ALO-CV approximates the leave-one-out quantity as well up to negligible error terms. Linear models with square loss, robust linear regression and single-index models are explicitly treated.
• Abstract（参考訳）: 近似Leave-One-Out Cross-Validation (ALO-CV) は、次元とサンプルサイズが同じ順序である高次元状態において正規化推定器の一般化誤差を推定する手法である。 ガウス共変量の下での非微分正則化器のALO-CVの整合性と正則化器の強凸性を導出する新しい解析法を開発した。 条件付き引数を用いて、平均場推論におけるALO-CV重みとそれに対応する重みの差が小さいことを示す。 ALO-CVは平均場推定量と残余量との上限を組み合わさって、残余量と無視可能な誤差項とを近似する。 正方損失、ロバストな線形回帰、シングルインデックスモデルを持つ線形モデルは、明示的に扱われる。

関連論文リスト

• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Failures and Successes of Cross-Validation for Early-Stopped Gradient Descent [8.0225129190882]
  我々は、早期降下勾配(GD)に適用された一般クロスバリデーション(GCV)とアウトアウトクロスバリデーション(LOOCV)の統計的性質を解析する。 等方性を有する線形モデルであっても, GCV は早期停止型GD の予測リスクの予測器として不整合であることが証明された。 我々の理論はデータ分布に関する軽微な仮定しか必要とせず、根底にある回帰関数を線形とする必要はない。
  論文  参考訳（メタデータ） (2024-02-26T18:07:27Z)
• Approximate Leave-one-out Cross Validation for Regression with $\ell_1$ Regularizers (extended version) [12.029919627622954]
  微分不可能な正則化をもつ一般化線形モデル族において、幅広い問題に対する新しい理論を提案する。 n/p と SNR が固定され有界である間、|ALO - LO| は p が無限大に進むにつれて 0 となることを示す。
  論文  参考訳（メタデータ） (2023-10-26T17:48:10Z)
• Corrected generalized cross-validation for finite ensembles of penalized estimators [5.165142221427927]
  Generalized Cross-Vidation (GCV) は、正方形外乱予測リスクを推定するための広く使われている手法である。 GCV は 1 以上の大きさの有限アンサンブルに対して不整合であることを示す。
  論文  参考訳（メタデータ） (2023-10-02T17:38:54Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Prediction Errors for Penalized Regressions based on Generalized Approximate Message Passing [0.0]
  C_p$ criterion, Information criteria, and leave-one-out Cross Validation (LOOCV) error。 GAMPの枠組みでは,推定値の分散を利用して情報基準を表現できることが示されている。
  論文  参考訳（メタデータ） (2022-06-26T09:42:39Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• A connection between the pattern classification problem and the General Linear Model for statistical inference [0.2320417845168326]
  両方のアプローチ、すなわち。 GLM および LRM は、異なったドメイン、観察およびラベル ドメインに適用します。 より洗練された予測アルゴリズムに基づく統計的検査を導出する。 MLEベースの推論は、残留スコアを採用し、実際の(実際の)エラーのより良い推定を計算するために上界を含む。
  論文  参考訳（メタデータ） (2020-12-16T12:26:26Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)
• Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
  Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。 単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
  論文  参考訳（メタデータ） (2020-02-26T16:37:37Z)
• GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
  重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。 我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。 結果として得られるアルゴリズム、GenDICEは単純で効果的である。
  論文  参考訳（メタデータ） (2020-02-21T00:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。