論文の概要: Is K-fold cross validation the best model selection method for Machine Learning?

• arxiv url: http://arxiv.org/abs/2401.16407v2
• Date: Fri, 08 Nov 2024 07:30:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:52:52.300160
• Title: Is K-fold cross validation the best model selection method for Machine Learning?
• Title（参考訳）: K-fold クロスバリデーションは機械学習の最良のモデル選択法か?
• Authors: Juan M Gorriz, R. Martin Clemente, F Segovia, J Ramirez, A Ortiz, J. Suckling,
• Abstract要約: K-fold cross-validation (CV) は、機械学習の結果が偶然に生成される可能性を確認する最も一般的な手法である。 K-fold CVと実際のリスクの上界(K-fold CUBV)に基づく新しい統計試験が提案されている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: As a technique that can compactly represent complex patterns, machine learning has significant potential for predictive inference. K-fold cross-validation (CV) is the most common approach to ascertaining the likelihood that a machine learning outcome is generated by chance, and it frequently outperforms conventional hypothesis testing. This improvement uses measures directly obtained from machine learning classifications, such as accuracy, that do not have a parametric description. To approach a frequentist analysis within machine learning pipelines, a permutation test or simple statistics from data partitions (i.e., folds) can be added to estimate confidence intervals. Unfortunately, neither parametric nor non-parametric tests solve the inherent problems of partitioning small sample-size datasets and learning from heterogeneous data sources. The fact that machine learning strongly depends on the learning parameters and the distribution of data across folds recapitulates familiar difficulties around excess false positives and replication. A novel statistical test based on K-fold CV and the Upper Bound of the actual risk (K-fold CUBV) is proposed, where uncertain predictions of machine learning with CV are bounded by the worst case through the evaluation of concentration inequalities. Probably Approximately Correct-Bayesian upper bounds for linear classifiers in combination with K-fold CV are derived and used to estimate the actual risk. The performance with simulated and neuroimaging datasets suggests that K-fold CUBV is a robust criterion for detecting effects and validating accuracy values obtained from machine learning and classical CV schemes, while avoiding excess false positives.
• Abstract（参考訳）: 複雑なパターンをコンパクトに表現できる技術として、機械学習は予測推論の重要な可能性を持っている。 K-fold cross-validation (CV) は、機械学習の結果が偶然に生成される可能性を確認する最も一般的なアプローチであり、しばしば従来の仮説テストより優れている。 この改善は、パラメトリック記述を持たない精度などの機械学習分類から直接得られる尺度を使用する。 機械学習パイプライン内の頻繁な分析にアプローチするために、データパーティション(すなわち折り畳み)からの置換テストや単純な統計を加算して、信頼区間を推定することができる。 残念なことに、パラメトリックテストも非パラメトリックテストも、小さなサンプルサイズのデータセットを分割したり、異種データソースから学んだりする固有の問題を解決するものではない。 機械学習が学習パラメータとフォルダ間のデータの分散に強く依存しているという事実は、過剰な偽陽性や複製に関する精通した困難を再カプセル化する。 K-fold CVと実際のリスク (K-fold CUBV) の上限値に基づく新しい統計テストを提案し, CVを用いた機械学習の予測の不確実性は, 濃度不等式の評価により, 最悪の場合によって制限されることを示した。 線形分類器とK-fold CVを併用した近似正ベイジアン上界を導出し, 実際のリスクを推定する。 シミュレーションおよびニューロイメージングデータセットの性能は、K-fold CUBVは、過剰な偽陽性を回避しつつ、機械学習や古典的なCVスキームから得られる効果を検出し、精度を検証するための堅牢な基準であることを示している。

関連論文リスト

• Predictive Performance Test based on the Exhaustive Nested Cross-Validation for High-dimensional data [7.62566998854384]
  クロスバリデーションは、予測誤差の推定、正規化パラメータのチューニング、最も適切な予測モデルの選択など、いくつかのタスクに使用される。 K-foldクロスバリデーションは一般的なCV法であるが、その制限はリスク推定がデータの分割に大きく依存していることである。 本研究は, 完全ネスト型クロスバリデーションに基づく新たな予測性能試験と有効信頼区間を提案する。
  論文  参考訳（メタデータ） (2024-08-06T12:28:16Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Theoretical characterization of uncertainty in high-dimensional linear classification [24.073221004661427]
  本研究では,高次元入力データとラベルの限られたサンプル数から学習する不確実性が,近似メッセージパッシングアルゴリズムによって得られることを示す。 我々は,信頼度を適切に正則化することで緩和する方法について論じるとともに,損失に対するクロスバリデーションが0/1誤差よりもキャリブレーションが優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-07T15:32:07Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Approximate Bayesian Computation via Classification [0.966840768820136]
  近似計算(ABC: Approximate Computation)は、計算が難しいがシミュレーションが容易な複雑なモデルにおいて、統計的推論を可能にする。 ABCは、実データとシミュレーションデータの要約統計を比較するアセプション/リジェクト機構により、後部分布に対するカーネル型近似を構築する。 ABCの受け入れしきい値を必要としない指数重み付け方式と同様に、従来のアセプション/リジェクトカーネルも考慮する。
  論文  参考訳（メタデータ） (2021-11-22T20:07:55Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Deep Learning in current Neuroimaging: a multivariate approach with power and type I error control but arguable generalization ability [0.158310730488265]
  ディープラーニングアーキテクチャを用いた分類の統計的意義を推定する非パラメトリックフレームワークを提案する。 ラベル置換試験は, クロスバリデーション (CV) と上界補正 (RUB) を併用した再置換を検証法として提案した。 我々は, CV法とRUB法が有意レベルに近い偽陽性率と許容可能な統計的力を提供することを置換試験で発見した。
  論文  参考訳（メタデータ） (2021-03-30T21:15:39Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。