論文の概要: Approximate Leave-one-out Cross Validation for Regression with $\ell_1$ Regularizers (extended version)

• arxiv url: http://arxiv.org/abs/2310.17629v1
• Date: Thu, 26 Oct 2023 17:48:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 18:25:52.820653
• Title: Approximate Leave-one-out Cross Validation for Regression with $\ell_1$ Regularizers (extended version)
• Title（参考訳）: $\ell_1$ 正規化子(拡張版)による回帰の近似左一項クロスバリデーション
• Authors: Arnab Auddy, Haolin Zou, Kamiar Rahnama Rad, Arian Maleki
• Abstract要約: 微分不可能な正則化をもつ一般化線形モデル族において、幅広い問題に対する新しい理論を提案する。 n/p と SNR が固定され有界である間、|ALO - LO| は p が無限大に進むにつれて 0 となることを示す。
• 参考スコア（独自算出の注目度）: 12.029919627622954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The out-of-sample error (OO) is the main quantity of interest in risk estimation and model selection. Leave-one-out cross validation (LO) offers a (nearly) distribution-free yet computationally demanding approach to estimate OO. Recent theoretical work showed that approximate leave-one-out cross validation (ALO) is a computationally efficient and statistically reliable estimate of LO (and OO) for generalized linear models with differentiable regularizers. For problems involving non-differentiable regularizers, despite significant empirical evidence, the theoretical understanding of ALO's error remains unknown. In this paper, we present a novel theory for a wide class of problems in the generalized linear model family with non-differentiable regularizers. We bound the error |ALO - LO| in terms of intuitive metrics such as the size of leave-i-out perturbations in active sets, sample size n, number of features p and regularization parameters. As a consequence, for the $\ell_1$-regularized problems, we show that |ALO - LO| goes to zero as p goes to infinity while n/p and SNR are fixed and bounded.
• Abstract（参考訳）: アウト・オブ・サンプルエラー(OO)は、リスク推定とモデル選択に対する主要な関心量である。 LO(Leave-one-out Cross Validation)は、OOを見積もるために(ほぼ)分布自由だが計算的に要求されるアプローチを提供する。 近年の理論的研究は、微分可能正規化子を持つ一般化線形モデルに対するlo(およびoo)の計算効率と統計学的に信頼性が高い推定である。 有意な経験的証拠にもかかわらず、微分不可能な正則化器に関わる問題については、ALOの誤りに関する理論的理解はいまだ不明である。 本稿では,非微分可能正規化子を持つ一般化線形モデル族における幅広い問題に対する新理論を提案する。 誤差 |alo - lo| を、アクティブな集合における残余の摂動の大きさ、サンプルサイズ n 、特徴数 p と正規化パラメータといった直感的な指標の観点で限定した。 結果として、$\ell_1$-regularized 問題に対して、|ALO - LO| は p が無限大に進むにつれて 0 となり、n/p と SNR は固定され有界であることを示す。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• A Targeted Accuracy Diagnostic for Variational Approximations [8.969208467611896]
  変分推論(VI)はマルコフ・チェイン・モンテカルロ(MCMC)の魅力的な代替品である 既存の方法は、全変分分布の品質を特徴付ける。 配電近似精度(TADDAA)のためのTArgeted診断法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T02:50:18Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Generic Error Bounds for the Generalized Lasso with Sub-Exponential Data [4.56877715768796]
  この研究は、部分指数データの仮定の下で一般化されたラッソの非漸近解析を行う。 本稿では,ジェネリックチェインに基づく証明戦略から自然に生じる2つの複雑性パラメータを用いて,推定誤差を制御できることを示す。
  論文  参考訳（メタデータ） (2020-04-11T10:39:48Z)
• Leverage the Average: an Analysis of KL Regularization in RL [44.01222241795292]
  Kullback-Leibler (KL) 正則化がq-値を暗黙的に平均化することを示す。 非常に強力なパフォーマンスバウンダリを提供しており、最初に2つの望ましい側面を組み合わせています。 我々の仮定のいくつかはニューラルネットワークには当てはまらないので、この理論解析を広範な実証研究で補完する。
  論文  参考訳（メタデータ） (2020-03-31T10:55:06Z)
• Error bounds in estimating the out-of-sample prediction error using leave-one-out cross validation in high-dimensions [19.439945058410203]
  高次元状態におけるサンプル外リスク推定の問題について検討する。 広範囲にわたる経験的証拠は、アウト・ワン・アウト・クロス・バリデーションの正確さを裏付ける。 この理論の技術的利点の1つは、拡張可能な近似LOに関する最近の文献から得られたいくつかの結果を明確化し、接続することができることである。
  論文  参考訳（メタデータ） (2020-03-03T20:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。