論文の概要: Is K-fold cross validation the best model selection method for Machine
Learning?
- arxiv url: http://arxiv.org/abs/2401.16407v1
- Date: Mon, 29 Jan 2024 18:46:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 13:28:33.163998
- Title: Is K-fold cross validation the best model selection method for Machine
Learning?
- Title(参考訳): K-fold クロス検証は機械学習の最良のモデル選択法か?
- Authors: Juan M Gorriz, F Segovia, J Ramirez, A Ortiz and J. Suckling
- Abstract要約: K-foldクロスバリデーション(K-fold cross-validation)は、機械学習の結果が偶然に生成される可能性を確認する最も一般的なアプローチである。
K-fold CVと実際の誤差(K-fold CUBV)のアッパーバウンドに基づく新規な試験が構成される。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As a technique that can compactly represent complex patterns, machine
learning has significant potential for predictive inference. K-fold
cross-validation (CV) is the most common approach to ascertaining the
likelihood that a machine learning outcome is generated by chance and
frequently outperforms conventional hypothesis testing. This improvement uses
measures directly obtained from machine learning classifications, such as
accuracy, that do not have a parametric description. To approach a frequentist
analysis within machine learning pipelines, a permutation test or simple
statistics from data partitions (i.e. folds) can be added to estimate
confidence intervals. Unfortunately, neither parametric nor non-parametric
tests solve the inherent problems around partitioning small sample-size
datasets and learning from heterogeneous data sources. The fact that machine
learning strongly depends on the learning parameters and the distribution of
data across folds recapitulates familiar difficulties around excess false
positives and replication. The origins of this problem are demonstrated by
simulating common experimental circumstances, including small sample sizes, low
numbers of predictors, and heterogeneous data sources. A novel statistical test
based on K-fold CV and the Upper Bound of the actual error (K-fold CUBV) is
composed, where uncertain predictions of machine learning with CV are bounded
by the \emph{worst case} through the evaluation of concentration inequalities.
Probably Approximately Correct-Bayesian upper bounds for linear classifiers in
combination with K-fold CV is used to estimate the empirical error. The
performance with neuroimaging datasets suggests this is a robust criterion for
detecting effects, validating accuracy values obtained from machine learning
whilst avoiding excess false positives.
- Abstract(参考訳): 複雑なパターンをコンパクトに表現できる技術として、機械学習は予測推論の重要な可能性を持っている。
K-fold cross-validation (CV) は、機械学習の結果が偶然に生成され、しばしば従来の仮説テストより優れている可能性を確認する最も一般的なアプローチである。
この改善は、パラメトリックな記述を持たない精度など、機械学習の分類から直接得られる尺度を使用する。
機械学習パイプライン内の頻繁な分析にアプローチするために、データパーティション(すなわち折り畳み)からの置換テストや単純な統計を加算して、信頼区間を推定することができる。
残念ながら、パラメトリックテストも非パラメトリックテストも、小さなサンプルサイズのデータセットの分割や、異種データソースからの学習に関する本質的な問題を解決できない。
機械学習が学習パラメータやデータ分散に強く依存しているという事実は、過剰な偽陽性や複製に関する難しさを再カプセル化する。
この問題の起源は、小さなサンプルサイズ、低い数の予測器、異種データソースなど、共通の実験的な状況のシミュレーションによって示される。
K-fold CVと実際の誤差(K-fold CUBV)のアッパーバウンドに基づく新しい統計的テストを行い、濃度不等式の評価により、CVを用いた機械学習の不確実な予測をemph{worst case}でバウンドする。
線形分類器に対する K-fold CV と組み合わせた近似正ベイジアン上界は経験的誤差を推定するために用いられる。
神経画像データセットによるパフォーマンスは、過剰な偽陽性を回避しながら機械学習から得られる精度値を検証し、効果を検出するための堅牢な基準であることを示唆している。
関連論文リスト
- Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳(メタデータ) (2022-02-08T02:59:12Z) - Theoretical characterization of uncertainty in high-dimensional linear
classification [24.073221004661427]
本研究では,高次元入力データとラベルの限られたサンプル数から学習する不確実性が,近似メッセージパッシングアルゴリズムによって得られることを示す。
我々は,信頼度を適切に正則化することで緩和する方法について論じるとともに,損失に対するクロスバリデーションが0/1誤差よりもキャリブレーションが優れていることを示す。
論文 参考訳(メタデータ) (2022-02-07T15:32:07Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Approximate Bayesian Computation via Classification [0.966840768820136]
近似計算(ABC: Approximate Computation)は、計算が難しいがシミュレーションが容易な複雑なモデルにおいて、統計的推論を可能にする。
ABCは、実データとシミュレーションデータの要約統計を比較するアセプション/リジェクト機構により、後部分布に対するカーネル型近似を構築する。
ABCの受け入れしきい値を必要としない指数重み付け方式と同様に、従来のアセプション/リジェクトカーネルも考慮する。
論文 参考訳(メタデータ) (2021-11-22T20:07:55Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Deep Learning in current Neuroimaging: a multivariate approach with
power and type I error control but arguable generalization ability [0.158310730488265]
ディープラーニングアーキテクチャを用いた分類の統計的意義を推定する非パラメトリックフレームワークを提案する。
ラベル置換試験は, クロスバリデーション (CV) と上界補正 (RUB) を併用した再置換を検証法として提案した。
我々は, CV法とRUB法が有意レベルに近い偽陽性率と許容可能な統計的力を提供することを置換試験で発見した。
論文 参考訳(メタデータ) (2021-03-30T21:15:39Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - Estimating g-Leakage via Machine Learning [34.102705643128004]
本稿では,ブラックボックスシナリオにおけるシステムの情報漏洩を推定する問題について考察する。
システムの内部は学習者にとって未知であり、分析するには複雑すぎると仮定される。
機械学習(ML)アルゴリズムを用いて,g-vulnerabilityをブラックボックスで推定する手法を提案する。
論文 参考訳(メタデータ) (2020-05-09T09:26:36Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳(メタデータ) (2020-04-21T23:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。