論文の概要: Approximate Cross-validation: Guarantees for Model Assessment and Selection

• arxiv url: http://arxiv.org/abs/2003.00617v2
• Date: Thu, 11 Jun 2020 02:03:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 04:24:13.020263
• Title: Approximate Cross-validation: Guarantees for Model Assessment and Selection
• Title（参考訳）: 近似クロスバリデーション:モデル評価と選択の保証
• Authors: Ashia Wilson, Maximilian Kasy, Lester Mackey
• Abstract要約: クロスバリデーション(CV)は、予測モデルの評価と選択のための一般的なアプローチである。 経験的リスク最小化の最近の研究は、トレーニングセット全体からウォームスタートした1つのニュートンで高価なリフィットを近似している。
• 参考スコア（独自算出の注目度）: 18.77512692975483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-validation (CV) is a popular approach for assessing and selecting predictive models. However, when the number of folds is large, CV suffers from a need to repeatedly refit a learning procedure on a large number of training datasets. Recent work in empirical risk minimization (ERM) approximates the expensive refitting with a single Newton step warm-started from the full training set optimizer. While this can greatly reduce runtime, several open questions remain including whether these approximations lead to faithful model selection and whether they are suitable for non-smooth objectives. We address these questions with three main contributions: (i) we provide uniform non-asymptotic, deterministic model assessment guarantees for approximate CV; (ii) we show that (roughly) the same conditions also guarantee model selection performance comparable to CV; (iii) we provide a proximal Newton extension of the approximate CV framework for non-smooth prediction problems and develop improved assessment guarantees for problems such as l1-regularized ERM.
• Abstract（参考訳）: クロスバリデーション(CV)は予測モデルの評価と選択のための一般的なアプローチである。 しかし、折り畳みの数が多ければ、CVは大量のトレーニングデータセットで繰り返し学習手順を適合させる必要性に悩まされる。 経験的リスク最小化(ERM)の最近の研究は、トレーニングセットオプティマイザからウォームスタートした1つのニュートンステップによる高価な調整を近似している。 これはランタイムを大幅に削減できるが、これらの近似が忠実なモデル選択に繋がるかどうか、非滑らかな目的に適合するかどうかなど、いくつかのオープンな疑問が残る。 これらの質問には3つの大きな貢献があります i) 近似CVに対する一様非漸近的決定論的モデルアセスメントを提供する。 (II)同じ条件でもCVに匹敵するモデル選択性能が保証されていることを示す。 (iii)非スムース予測問題に対する近似cvフレームワークの近位ニュートン拡張と、l1正規化ermなどの問題に対する評価保証の改善について述べる。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Iterative Approximate Cross-Validation [13.084578404699174]
  クロスバリデーション(CV)は、予測モデルを評価し、選択するための最も一般的なツールの1つである。 本稿では,経験的リスク最小化(ERM)問題を反復的1次アルゴリズムを用いて解く際に,CVを効率的に近似する新しいパラダイムを提案する。 我々の新しい手法は、CV近似の既存の保証を拡張し、収束を含むアルゴリズムの全軌道に沿って保持する。
  論文  参考訳（メタデータ） (2023-03-05T17:56:08Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Leave Zero Out: Towards a No-Cross-Validation Approach for Model Selection [21.06860861548758]
  cross validation (cv) はモデル選択の主要な作業馬である。 CVは、限られたデータの一部が検証のために保たなければならないため、保守的にバイアスのある推定に苦しむ。 CVは、繰り返しの訓練手順のために、例えば、耐え難い時間を要する傾向があります。
  論文  参考訳（メタデータ） (2020-12-24T16:11:53Z)
• Approximate Cross-validated Mean Estimates for Bayesian Hierarchical Regression Models [6.824747267214373]
  本稿では,ベイズ階層回帰モデルに対するクロスバリデーション予測手法を提案する。 理論的な結果を提供し、その効果を公開データやシミュレーションで実証する。
  論文  参考訳（メタデータ） (2020-11-29T00:00:20Z)
• Approximate Cross-Validation for Structured Models [20.79997929155929]
  金標準評価技術は構造化クロスバリデーション(CV)である しかし、すでに拡張された学習アルゴリズムを何度も再実行する必要があるため、ここでのCVは違法に遅くなる可能性がある。 従来の研究では、近似クロスバリデーション(ACV)法が高速かつ確実な代替手段であることが示された。
  論文  参考訳（メタデータ） (2020-06-23T00:06:03Z)
• Estimating the Prediction Performance of Spatial Models via Spatial k-Fold Cross Validation [1.7205106391379026]
  機械学習では、モデルの性能を評価するときにデータが独立していると仮定することが多い。 空間自己相関(spatial autocorrelation, SAC)は、標準クロスバリデーション(CV)法により、楽観的に偏りのある予測性能推定を生成する。 本研究では,SACによる楽観的バイアスを伴わないモデル予測性能を評価するため,空間k-fold Cross Validation (SKCV) と呼ばれるCV法の改良版を提案する。
  論文  参考訳（メタデータ） (2020-05-28T19:55:18Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。