論文の概要: RandALO: Out-of-sample risk estimation in no time flat

• arxiv url: http://arxiv.org/abs/2409.09781v1
• Date: Sun, 15 Sep 2024 16:10:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 17:30:41.923182
• Title: RandALO: Out-of-sample risk estimation in no time flat
• Title（参考訳）: RandALO: タイムフラットでのサンプル外リスク推定
• Authors: Parth T. Nobel, Daniel LeJeune, Emmanuel J. Candès,
• Abstract要約: クロスバリデーション(CV)は、リスク推定のデファクトスタンダードとして機能するが、計算コスト(リーブ・ワン・アウト・CV)に対して高いバイアス(K$fold CV)の取引が不十分である。 本稿では,高次元におけるリスクの一貫した推定器であるとともに,計算コストも$K$-fold CVよりも低いランダム化された約1回のリスク推定器を提案する。
• 参考スコア（独自算出の注目度）: 5.231056284485742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating out-of-sample risk for models trained on large high-dimensional datasets is an expensive but essential part of the machine learning process, enabling practitioners to optimally tune hyperparameters. Cross-validation (CV) serves as the de facto standard for risk estimation but poorly trades off high bias ($K$-fold CV) for computational cost (leave-one-out CV). We propose a randomized approximate leave-one-out (RandALO) risk estimator that is not only a consistent estimator of risk in high dimensions but also less computationally expensive than $K$-fold CV. We support our claims with extensive simulations on synthetic and real data and provide a user-friendly Python package implementing RandALO available on PyPI as randalo and at https://github.com/cvxgrp/randalo.
• Abstract（参考訳）: 大規模な高次元データセットでトレーニングされたモデルのサンプル外リスクの推定は、マシンラーニングプロセスにおいて高価だが不可欠な部分であり、実践者がハイパーパラメータを最適にチューニングすることができる。 クロスバリデーション(Cross-validation, CV)は、リスク推定のデファクトスタンダードとして機能するが、計算コスト(リーブ・ワン・アウト・CV)に対して高いバイアス(K$fold CV)の取引が不十分である。 本稿では,高次元におけるリスクの一貫した推定器であるとともに,計算コストも$K$-fold CVよりも低いランダム化された約1回のリスク推定器を提案する。 我々は、合成データと実データに関する広範なシミュレーションを行い、PyPIでrundaloとして利用可能なRandALOとhttps://github.com/cvxgrp/randaloで実装したユーザフレンドリーなPythonパッケージを提供しています。

関連論文リスト

• Mitigating optimistic bias in entropic risk estimation and optimization with an application to insurance [5.407319151576265]
  エントロピーリスク尺度は、不確実な損失に関連する尾のリスクを説明するために広く使用されている。 経験的エントロピーリスク推定器のバイアスを軽減するために, 強く一貫したブートストラップ手法を提案する。 当社の手法は、住宅所有者に対してより高い(そしてより正確な)プレミアムを示唆している。
  論文  参考訳（メタデータ） (2024-09-30T04:02:52Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 この設定では、一般化されたクロスバリデーション推定器(GCV)がサンプル外リスクを正確に予測できないことを示す。 さらに、テストポイントがトレーニングセットと非自明な相関を持つ場合、時系列予測でしばしば発生する設定にまで分析を拡張します。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Lost in the Averages: A New Specific Setup to Evaluate Membership Inference Attacks Against Machine Learning Models [6.343040313814916]
  メンバーシップ推論攻撃(MIAs)は、機械学習(ML)モデルの妥当性を評価するために使用され、個々のレコードを記憶する。 MLモデルに対するMIAの評価設定を新たに提案する。 現在設定されているリスク見積は、多くのレコードが低いリスクとして誤って分類されていることを示しています。
  論文  参考訳（メタデータ） (2024-05-24T10:37:38Z)
• Sparse PCA with Oracle Property [115.72363972222622]
  新規な正規化を伴うスパースPCAの半定緩和に基づく推定器群を提案する。 我々は、家族内の別の推定器が、スパースPCAの標準半定緩和よりも、より急激な収束率を達成することを証明した。
  論文  参考訳（メタデータ） (2023-12-28T02:52:54Z)
• Provably Efficient CVaR RL in Low-rank MDPs [58.58570425202862]
  リスクに敏感な強化学習(RL)について検討する。 本稿では, CVaR RLにおける探索, 搾取, 表現学習の相互作用のバランスをとるための, 新たなアッパー信頼境界(UCB)ボーナス駆動アルゴリズムを提案する。 提案アルゴリズムは,各エピソードの長さが$H$,アクション空間が$A$,表現の次元が$d$であるような,エプシロン$最適CVaRのサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2023-11-20T17:44:40Z)
• Empirical Risk Minimization for Losses without Variance [26.30435936379624]
  重み付けされた条件下では、データは有限分散を持たないが、$p in (1,2)$で$p$のモーメントしか持たない経験的リスク問題を考察する。 トランカットされた観測データに基づいて推定を行う代わりに,リスク値の最小化による最小化を選択する。 これらのリスク値は、顕著なカトニ法(Catoni, 2012)を用いて、頑健に推定できる。
  論文  参考訳（メタデータ） (2023-09-07T16:14:00Z)
• Robust leave-one-out cross-validation for high-dimensional Bayesian models [0.0]
  レリーブ・ワン・アウト・クロスバリデーション (LOO-CV) は、アウト・オブ・サンプル予測精度を推定するための一般的な手法である。 そこで本研究では,LOO-CV基準を計算するための新しい混合推定器を提案し,解析する。 提案手法は古典的手法の単純さと計算的利便性を保ちながら, 得られた推定値の有限分散を保証している。
  論文  参考訳（メタデータ） (2022-09-19T17:14:52Z)
• Learning to be a Statistician: Learned Estimator for Number of Distinct Values [54.629042119819744]
  列内の異なる値の数(NDV)を推定することは、データベースシステムにおける多くのタスクに有用である。 本研究では、ランダム(オンライン/オフライン)サンプルから正確なNDV推定を導出する方法に焦点を当てる。 教師付き学習フレームワークにおいて,NDV推定タスクを定式化し,モデルを推定対象として学習することを提案する。
  論文  参考訳（メタデータ） (2022-02-06T15:42:04Z)
• Dimensionality reduction, regularization, and generalization in overparameterized regressions [8.615625517708324]
  主成分回帰(主成分回帰)としても知られるPCA-OLSは次元の減少によって回避できることを示す。 OLSは任意に敵の攻撃を受けやすいが,次元性低下はロバスト性を向上させることを示す。 その結果,プロジェクションがトレーニングデータに依存する手法は,トレーニングデータとは独立にプロジェクションが選択される手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-11-23T15:38:50Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)
• Nonparametric Estimation in the Dynamic Bradley-Terry Model [69.70604365861121]
  カーネルのスムース化に依存する新しい推定器を開発し、時間とともにペア比較を前処理する。 モデルに依存しない設定における推定誤差と余剰リスクの両方について時間変化のオラクル境界を導出する。
  論文  参考訳（メタデータ） (2020-02-28T21:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。