論文の概要: The Relative Instability of Model Comparison with Cross-validation
- arxiv url: http://arxiv.org/abs/2508.04409v1
- Date: Wed, 06 Aug 2025 12:54:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.724517
- Title: The Relative Instability of Model Comparison with Cross-validation
- Title（参考訳）: クロスバリデーションとモデル比較の相対的不安定性
- Authors: Alexandre Bayle, Lucas Janson, Lester Mackey,
- Abstract要約: クロスバリデーションは、安定した機械学習アルゴリズムのテストエラーに対する信頼区間を提供するために使用できる。
相対安定性は、単純なアルゴリズムであっても、既存の安定性の結果から容易に導き出すことはできない。
ソフトスレッディングまたはラッソを用いた場合、試験誤差差に対するCV信頼区間の無効性を実証的に確認する。
- 参考スコア（独自算出の注目度）: 65.90853456199493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing work has shown that cross-validation (CV) can be used to provide an asymptotic confidence interval for the test error of a stable machine learning algorithm, and existing stability results for many popular algorithms can be applied to derive positive instances where such confidence intervals will be valid. However, in the common setting where CV is used to compare two algorithms, it becomes necessary to consider a notion of relative stability which cannot easily be derived from existing stability results, even for simple algorithms. To better understand relative stability and when CV provides valid confidence intervals for the test error difference of two algorithms, we study the soft-thresholded least squares algorithm, a close cousin of the Lasso. We prove that while stability holds when assessing the individual test error of this algorithm, relative stability fails to hold when comparing the test error of two such algorithms, even in a sparse low-dimensional linear model setting. Additionally, we empirically confirm the invalidity of CV confidence intervals for the test error difference when either soft-thresholding or the Lasso is used. In short, caution is needed when quantifying the uncertainty of CV estimates of the performance difference of two machine learning algorithms, even when both algorithms are individually stable.
- Abstract（参考訳）: 既存の研究によると、クロスバリデーション(CV)は、安定した機械学習アルゴリズムのテスト誤差に対する漸近的信頼区間を提供するために利用でき、そのような信頼区間が有効となる正のインスタンスを導出するために、多くの人気アルゴリズムに対する既存の安定性結果を適用することができる。
しかし,2つのアルゴリズムを比較するのにCVを用いる一般的な環境では,単純なアルゴリズムであっても,既存の安定性結果から容易に導出できない相対安定性の概念を考える必要がある。
相対安定性をよりよく理解するために、CVが2つのアルゴリズムのテスト誤差差に対して妥当な信頼区間を提供する場合、ラッソの従兄弟である軟弱最小二乗アルゴリズムについて検討する。
このアルゴリズムの個々のテスト誤差を評価する際には安定性が保たれるが, 疎低次元線形モデル設定においても, 2つのアルゴリズムのテスト誤差を比較すると相対安定性は保たないことを示す。
また,ソフトスレッディングまたはラッソを用いた場合,試験誤差差に対するCV信頼区間の無効性を実証的に確認した。
要するに、両方のアルゴリズムが個別に安定していても、2つの機械学習アルゴリズムのパフォーマンス差のCV推定の不確かさを定量化するためには、注意が必要である。
関連論文リスト
- Asymptotically Optimal Linear Best Feasible Arm Identification with Fixed Budget [55.938644481736446]
本稿では,誤差確率の指数的減衰を保証し,最適な腕識別のための新しいアルゴリズムを提案する。
我々は,複雑性のレベルが異なる様々な問題インスタンスに対する包括的経験的評価を通じて,アルゴリズムの有効性を検証する。
論文 参考訳（メタデータ） (2025-06-03T02:56:26Z) - Is Algorithmic Stability Testable? A Unified Framework under Computational Constraints [5.68594452139461]
ブラックボックスアルゴリズムの安定性をテストすることは、データが数えきれないほど無限の空間にあるような環境では不可能であることを示す。
アルゴリズム安定性テストの難易度を定量化するための統一的なフレームワークを開発し,全ての設定において,利用可能なデータが制限されている場合,網羅的探索がアルゴリズム安定性を証明するための唯一の普遍的なメカニズムであることを示す。
論文 参考訳（メタデータ） (2024-05-23T23:51:25Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳（メタデータ） (2023-10-09T11:44:50Z) - Distributionally Robust Learning with Stable Adversarial Training [34.74504615726101]
経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。
そこで本稿では,異種データソースを活用して,より実用的な不確実性セットを構築する,SAL(Stable Adversarial Learning)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-30T03:05:45Z) - Machine Unlearning via Algorithmic Stability [31.809738694273623]
我々はマシンアンラーニングの問題を研究し、総変動(TV)安定性の概念を特定します。
凸リスク最小化問題に対して、ノイズグラディエントDescent(SGD)に基づくTV安定アルゴリズムを設計する。
我々のアルゴリズムを一般化する手法も微分プライベートである。
論文 参考訳（メタデータ） (2021-02-25T21:16:56Z) - Cross-validation Confidence Intervals for Test Error [83.67415139421448]
この研究は、クロスバリデーションのための中心極限定理と、学習アルゴリズムの弱い安定性条件下での分散の一貫した推定器を開発する。
結果は、一般的な1対1のクロスバリデーションの選択にとって、初めてのものだ。
論文 参考訳（メタデータ） (2020-07-24T17:40:06Z) - A Constraint-Based Algorithm for the Structural Learning of
Continuous-Time Bayesian Networks [70.88503833248159]
連続時間ベイズネットワークの構造を学習するための制約に基づく最初のアルゴリズムを提案する。
我々は,条件付き独立性を確立するために提案した,異なる統計的テストと基礎となる仮説について論じる。
論文 参考訳（メタデータ） (2020-07-07T07:34:09Z) - Stable Adversarial Learning under Distributional Shifts [46.98655899839784]
経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。
本研究では、異種データソースを活用してより実用的な不確実性セットを構築する安定適応学習(SAL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-08T08:42:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。