論文の概要: Stability Regularized Cross-Validation

• arxiv url: http://arxiv.org/abs/2505.06927v1
• Date: Sun, 11 May 2025 10:06:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.118446
• Title: Stability Regularized Cross-Validation
• Title（参考訳）: 安定正規化クロスバリデーション
• Authors: Ryan Cory-Wright, Andrés Gómez,
• Abstract要約: クロスバリデーション(クロスバリデーション)による強力なテストセット性能の確保の問題を再考する。 一般化理論の文献に触発され、ネストされたk倍のクロスバリデーションスキームを提案する。 実際のUCIデータセットを13組のスイートでベンチマークする。
• 参考スコア（独自算出の注目度）: 5.156484100374059
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We revisit the problem of ensuring strong test-set performance via cross-validation. Motivated by the generalization theory literature, we propose a nested k-fold cross-validation scheme that selects hyperparameters by minimizing a weighted sum of the usual cross-validation metric and an empirical model-stability measure. The weight on the stability term is itself chosen via a nested cross-validation procedure. This reduces the risk of strong validation set performance and poor test set performance due to instability. We benchmark our procedure on a suite of 13 real-world UCI datasets, and find that, compared to k-fold cross-validation over the same hyperparameters, it improves the out-of-sample MSE for sparse ridge regression and CART by 4% on average, but has no impact on XGBoost. This suggests that for interpretable and unstable models, such as sparse regression and CART, our approach is a viable and computationally affordable method for improving test-set performance.
• Abstract（参考訳）: クロスバリデーション(クロスバリデーション)による強力なテストセット性能の確保の問題を再考する。 一般化理論の文献に触発されて、通常のクロスバリデーション計量の重み付け和と経験的モデル安定性尺度を最小化することにより、ハイパーパラメータを選択するネスト付きk倍クロスバリデーションスキームを提案する。 安定性項の重みは、ネストされたクロスバリデーション手順によって選択される。 これにより、信頼性の高い検証セットのパフォーマンスと不安定性によるテストセットのパフォーマンス低下のリスクが軽減される。 我々は13の実世界のUCIデータセットをベンチマークし、同じハイパーパラメータ上のk倍のクロスバリデーションと比較して、スパースリッジ回帰とCARTを平均4%改善するが、XGBoostには何の影響も与えないことを示した。 このことは、スパース回帰やCARTのような解釈可能で不安定なモデルに対して、我々のアプローチがテストセット性能を改善するための実現可能で計算に手頃な方法であることを示唆している。

関連論文リスト

• Integration of nested cross-validation, automated hyperparameter optimization, high-performance computing to reduce and quantify the variance of test performance estimation of deep learning models [2.4901555666568624]
  本研究では,ディープラーニングモデルの試験性能指標の分散を低減・定量化するためにNACHOSを導入する。 NACHOS は NCV と AHPO を並列化された高性能コンピューティングフレームワークに統合する。 DACHOSは、AHPOとクロスバリデーションを活用するために導入され、完全なデータセット上で最終モデルを構築する。
  論文  参考訳（メタデータ） (2025-03-11T16:25:44Z)
• Noise-Adaptive Conformal Classification with Marginal Coverage [53.74125453366155]
  本稿では,ランダムラベルノイズによる交換性からの偏差を効率的に処理できる適応型共形推論手法を提案する。 本手法は,合成および実データに対して,その有効性を示す広範囲な数値実験により検証する。
  論文  参考訳（メタデータ） (2025-01-29T23:55:23Z)
• Predictive Performance Test based on the Exhaustive Nested Cross-Validation for High-dimensional data [7.62566998854384]
  クロスバリデーションは、予測誤差の推定、正規化パラメータのチューニング、最も適切な予測モデルの選択など、いくつかのタスクに使用される。 K-foldクロスバリデーションは一般的なCV法であるが、その制限はリスク推定がデータの分割に大きく依存していることである。 本研究は, 完全ネスト型クロスバリデーションに基づく新たな予測性能試験と有効信頼区間を提案する。
  論文  参考訳（メタデータ） (2024-08-06T12:28:16Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Optimal Cross-Validation for Sparse Linear Regression [5.156484100374059]
  線形回帰器のスパーシリティとロバスト性を選択するためにk-foldクロスバリデーションを用いる。 クロスバリデーションはスパース回帰の計算コストを大幅に増大させる。 混合整数最適化問題を50～80%削減することで、この状況を改善する。
  論文  参考訳（メタデータ） (2023-06-26T17:02:45Z)
• Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
  本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。 提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
  論文  参考訳（メタデータ） (2022-03-09T01:55:59Z)
• Assessment of Treatment Effect Estimators for Heavy-Tailed Data [70.72363097550483]
  ランダム化制御試験(RCT)における治療効果の客観的評価における中心的な障害は、その性能をテストするための基礎的真理(または検証セット)の欠如である。 この課題に対処するための新しいクロスバリデーションのような方法論を提供する。 本手法は,Amazonサプライチェーンに実装された709RCTに対して評価を行った。
  論文  参考訳（メタデータ） (2021-12-14T17:53:01Z)
• Fast calculation of Gaussian Process multiple-fold cross-validation residuals and their covariances [0.6091702876917281]
  高速離脱式を複数倍のクロスバリデーションに一般化する。 単純クリグフレームワークと普遍クリグフレームワークの両方において,クロスバリデーション残差の共分散構造を強調した。 本研究の結果は, 高速な多次元クロスバリデーションを可能にし, モデル診断において直接的な結果をもたらす。
  論文  参考訳（メタデータ） (2021-01-08T17:02:37Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)
• Decomposed Adversarial Learned Inference [118.27187231452852]
  我々は,DALI(Decomposed Adversarial Learned Inference)という新しいアプローチを提案する。 DALIは、データ空間とコード空間の両方の事前および条件分布を明示的に一致させる。 MNIST, CIFAR-10, CelebAデータセットにおけるDALIの有効性を検証する。
  論文  参考訳（メタデータ） (2020-04-21T20:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。