論文の概要: Blocked Cross-Validation: A Precise and Efficient Method for
Hyperparameter Tuning
- arxiv url: http://arxiv.org/abs/2306.06591v2
- Date: Mon, 31 Jul 2023 15:03:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 20:43:58.314441
- Title: Blocked Cross-Validation: A Precise and Efficient Method for
Hyperparameter Tuning
- Title(参考訳): Blocked Cross-Validation:ハイパーパラメータチューニングの高精度かつ効率的な方法
- Authors: Giovanni Maria Merola
- Abstract要約: 本稿では,ブロッククロスバリデーション(BCV)と呼ばれる新しい手法を提案し,CV分割と学習者のランダムな振る舞いに関して繰り返しをブロックする。
BCVは、実行回数が大幅に減少しても、RCVよりも正確な誤差推定を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hyperparameter tuning plays a crucial role in optimizing the performance of
predictive learners. Cross--validation (CV) is a widely adopted technique for
estimating the error of different hyperparameter settings. Repeated
cross-validation (RCV) has been commonly employed to reduce the variability of
CV errors. In this paper, we introduce a novel approach called blocked
cross-validation (BCV), where the repetitions are blocked with respect to both
CV partition and the random behavior of the learner. Theoretical analysis and
empirical experiments demonstrate that BCV provides more precise error
estimates compared to RCV, even with a significantly reduced number of runs. We
present extensive examples using real--world data sets to showcase the
effectiveness and efficiency of BCV in hyperparameter tuning. Our results
indicate that BCV outperforms RCV in hyperparameter tuning, achieving greater
precision with fewer computations.
- Abstract(参考訳): ハイパーパラメータチューニングは、予測学習者のパフォーマンスを最適化する上で重要な役割を果たす。
クロスバリデーション(CV)は、異なるハイパーパラメータ設定の誤差を推定する手法として広く採用されている。
繰り返しクロスバリデーション(RCV)はCVエラーのばらつきを軽減するために一般的に用いられている。
本稿では,ブロッククロスバリデーション(BCV)と呼ばれる,CVパーティションと学習者のランダムな振る舞いの両方に対して繰り返しをブロックする手法を提案する。
理論的解析と実証実験により、bcvはrcvよりも正確なエラー推定を提供するが、実行回数は大幅に減少している。
ハイパーパラメータチューニングにおけるbcvの有効性と効率を示すために,実世界のデータセットを用いた広範な例を示す。
以上の結果より, BCV は高パラメータチューニングにおいて RCV よりも優れ, 計算精度が低い。
関連論文リスト
- Hyperparameters in Continual Learning: a Reality Check [53.30082523545212]
ベンチマークデータセットで構築されたCLシナリオ上で、CLアルゴリズムをトレーニングすることは一般的なプラクティスである。
本稿では,この評価プロトコルは実用的でなく,CLアルゴリズムのCL能力を効果的に評価することができないことを主張する。
論文 参考訳(メタデータ) (2024-03-14T03:13:01Z) - Is K-fold cross validation the best model selection method for Machine
Learning? [0.0]
K-foldクロスバリデーション(K-fold cross-validation)は、機械学習の結果が偶然に生成される可能性を確認する最も一般的なアプローチである。
K-fold CVと実際の誤差(K-fold CUBV)のアッパーバウンドに基づく新規な試験が構成される。
論文 参考訳(メタデータ) (2024-01-29T18:46:53Z) - Cross-Validation Conformal Risk Control [55.35424663904324]
コンフォーマルリスク制御(CRC)は、従来の点予測器にポストホックを適用してキャリブレーションを保証する手法である。
本稿では,従来のCRCの検証ではなく,クロスバリデーションに基づく新しいCRC手法を提案する。
CV-CRCは、設定された予測子の平均リスクに関する理論的保証を提供する。
論文 参考訳(メタデータ) (2024-01-22T14:26:02Z) - Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。
本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文 参考訳(メタデータ) (2023-06-27T05:43:47Z) - Confidence intervals for the Cox model test error from cross-validation [91.3755431537592]
クロスバリデーション(CV)は、モデルの試験誤差を推定する統計学習において最も広く使われている手法の1つである。
CVからの推定値を用いたテストエラーの標準信頼区間は、名目レベル以下である可能性がある。
この問題の1つの方法は、ネストされたCVを使って予測誤差の平均2乗誤差を推定することである。
論文 参考訳(メタデータ) (2022-01-26T06:40:43Z) - Assessment of Treatment Effect Estimators for Heavy-Tailed Data [70.72363097550483]
ランダム化制御試験(RCT)における治療効果の客観的評価における中心的な障害は、その性能をテストするための基礎的真理(または検証セット)の欠如である。
この課題に対処するための新しいクロスバリデーションのような方法論を提供する。
本手法は,Amazonサプライチェーンに実装された709RCTに対して評価を行った。
論文 参考訳(メタデータ) (2021-12-14T17:53:01Z) - Causal Effect Variational Autoencoder with Uniform Treatment [50.895390968371665]
因果効果変動オートエンコーダ(CEVAE)をトレーニングし、観察処理データから結果を予測する。
均一処理変分オートエンコーダ (UTVAE) は, 重要サンプリングを用いて均一な処理分布を訓練する。
論文 参考訳(メタデータ) (2021-11-16T17:40:57Z) - Overfitting in Bayesian Optimization: an empirical study and
early-stopping solution [41.782410830989136]
早期停止BOへの最初の問題適応性と解釈可能な基準を提案する。
提案手法は, テスト精度をほとんど損なうことなく, 計算時間を実質的に削減できることを示す。
論文 参考訳(メタデータ) (2021-04-16T15:26:23Z) - Approximate Cross-validated Mean Estimates for Bayesian Hierarchical
Regression Models [7.455546102930911]
本稿では,ベイズ階層回帰モデルに対するクロスバリデーション予測手法を提案する。
理論的な結果を提供し、その効果を公開データやシミュレーションで実証する。
論文 参考訳(メタデータ) (2020-11-29T00:00:20Z) - When to Impute? Imputation before and during cross-validation [0.0]
クロスバリデーション (CV) は予測モデルの一般化誤差を推定する手法である。
パイプライン全体の外部テストセットへの適用を模倣するために、CVの複製毎に全ステップを実行することが推奨されている。
論文 参考訳(メタデータ) (2020-10-01T23:04:16Z) - Approximate Cross-Validation with Low-Rank Data in High Dimensions [35.74302895575951]
クロスバリデーションはモデルアセスメントの重要なツールです。
ACV法は、空間構造がデータに存在しない限り、高次元での速度と精度の両方を失うことができる。
我々は,ALRデータの存在下で高速かつ高精度なACVの新しいアルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-08-24T16:34:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。