論文の概要: Iterative Approximate Cross-Validation

• arxiv url: http://arxiv.org/abs/2303.02732v2
• Date: Sat, 27 May 2023 18:57:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 01:17:01.982208
• Title: Iterative Approximate Cross-Validation
• Title（参考訳）: 逐次近似クロスバリデーション
• Authors: Yuetian Luo and Zhimei Ren and Rina Foygel Barber
• Abstract要約: クロスバリデーション(CV)は、予測モデルを評価し、選択するための最も一般的なツールの1つである。 本稿では,経験的リスク最小化(ERM)問題を反復的1次アルゴリズムを用いて解く際に,CVを効率的に近似する新しいパラダイムを提案する。 我々の新しい手法は、CV近似の既存の保証を拡張し、収束を含むアルゴリズムの全軌道に沿って保持する。
• 参考スコア（独自算出の注目度）: 13.084578404699174
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Cross-validation (CV) is one of the most popular tools for assessing and selecting predictive models. However, standard CV suffers from high computational cost when the number of folds is large. Recently, under the empirical risk minimization (ERM) framework, a line of works proposed efficient methods to approximate CV based on the solution of the ERM problem trained on the full dataset. However, in large-scale problems, it can be hard to obtain the exact solution of the ERM problem, either due to limited computational resources or due to early stopping as a way of preventing overfitting. In this paper, we propose a new paradigm to efficiently approximate CV when the ERM problem is solved via an iterative first-order algorithm, without running until convergence. Our new method extends existing guarantees for CV approximation to hold along the whole trajectory of the algorithm, including at convergence, thus generalizing existing CV approximation methods. Finally, we illustrate the accuracy and computational efficiency of our method through a range of empirical studies.
• Abstract（参考訳）: クロスバリデーション (cross-validation, cv) は予測モデルの評価と選択に最も人気のあるツールの1つである。 しかし、標準CVは折りたたみ数が大きい場合に高い計算コストに悩まされる。 近年,erm(experience risk minimization)フレームワークでは,全データセットでトレーニングされたerm問題の解に基づいてcvを近似する効率的な手法が提案されている。 しかし, 大規模問題においては, 計算資源が限られているか, オーバーフィットを防ぐための早期停止のため, erm問題の厳密な解を得るのが困難である。 本稿では,erm問題を逐次1次アルゴリズムで解いた場合,収束まで実行せずに効率的にcvを近似する新しいパラダイムを提案する。 本手法は,既存のCV近似手法を一般化し,収束を含むアルゴリズムの全軌道に沿って保持する既存のCV近似の保証を拡張する。 最後に,本手法の精度と計算効率を,実験的な研究範囲を通じて概説する。

関連論文リスト

• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• Leave Zero Out: Towards a No-Cross-Validation Approach for Model Selection [21.06860861548758]
  cross validation (cv) はモデル選択の主要な作業馬である。 CVは、限られたデータの一部が検証のために保たなければならないため、保守的にバイアスのある推定に苦しむ。 CVは、繰り返しの訓練手順のために、例えば、耐え難い時間を要する傾向があります。
  論文  参考訳（メタデータ） (2020-12-24T16:11:53Z)
• Approximate Cross-validated Mean Estimates for Bayesian Hierarchical Regression Models [6.824747267214373]
  本稿では,ベイズ階層回帰モデルに対するクロスバリデーション予測手法を提案する。 理論的な結果を提供し、その効果を公開データやシミュレーションで実証する。
  論文  参考訳（メタデータ） (2020-11-29T00:00:20Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• When to Impute? Imputation before and during cross-validation [0.0]
  クロスバリデーション (CV) は予測モデルの一般化誤差を推定する手法である。 パイプライン全体の外部テストセットへの適用を模倣するために、CVの複製毎に全ステップを実行することが推奨されている。
  論文  参考訳（メタデータ） (2020-10-01T23:04:16Z)
• Approximate Cross-Validation with Low-Rank Data in High Dimensions [35.74302895575951]
  クロスバリデーションはモデルアセスメントの重要なツールです。 ACV法は、空間構造がデータに存在しない限り、高次元での速度と精度の両方を失うことができる。 我々は,ALRデータの存在下で高速かつ高精度なACVの新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-08-24T16:34:05Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)
• High-Dimensional Robust Mean Estimation via Gradient Descent [73.61354272612752]
  一定対向分数の存在下でのロバスト平均推定の問題は勾配降下によって解けることを示す。 我々の研究は、近辺の非補題推定とロバスト統計の間の興味深い関係を確立する。
  論文  参考訳（メタデータ） (2020-05-04T10:48:04Z)
• Approximate Cross-validation: Guarantees for Model Assessment and Selection [18.77512692975483]
  クロスバリデーション(CV)は、予測モデルの評価と選択のための一般的なアプローチである。 経験的リスク最小化の最近の研究は、トレーニングセット全体からウォームスタートした1つのニュートンで高価なリフィットを近似している。
  論文  参考訳（メタデータ） (2020-03-02T00:30:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。