論文の概要: Model validation in machine learning: A scenario-based guide from hold-out splits to nested group cross-validation in biomedical and applied research

• arxiv url: http://arxiv.org/abs/2610.01284v1
• Date: Thu, 01 Oct 2026 08:23:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.998526
• Title: Model validation in machine learning: A scenario-based guide from hold-out splits to nested group cross-validation in biomedical and applied research
• Title（参考訳）: 機械学習におけるモデル検証: バイオメディカルおよび応用研究におけるホールドアウトスプリットからネスト群クロスバリデーションへのシナリオベースガイド
• Abstract要約: このチュートリアルでは、ホールドアウトバリデーション、トレイン/バリデーション/テストの設計、ランダムサブサンプリングの繰り返し、kフォールドおよび繰り返し成層化クロスバリデーションについてレビューする。 一般的な機械学習の原則は、脳波エポック、ペア眼OCT画像、反復臨床測定、マルチセンターデータに関連付けられている。
• 参考スコア（独自算出の注目度）: 23.120805127223377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model validation estimates the performance of a complete learning procedure on new data. However, an invalid split can produce an optimistic and stable result. This tutorial reviews hold-out validation, train/validation/test designs, repeated random subsampling, k-fold and repeated stratified cross-validation, leave-one-out and leave-p-out schemes, group-aware validation, and nested group cross-validation. General machine-learning principles are linked to EEG epochs, paired-eye OCT images, repeated clinical measurements, and multicenter data. Eight controlled scenarios compare flawed and leakage-safe designs: seven use locked confusion matrices with auditable metrics, and one uses a reproducible repeated-study simulation. The scenarios cover global feature selection, normalization leakage, dependent records, center mixing, repeated test-set use, and estimator instability. Bias, variance, metric aggregation, uncertainty, and computational cost are also examined. A data-size matrix, a decision tree, and reporting checklists are provided. Reproducible MATLAB templates and scikit-learn counterparts are included. The results show that no validation method is universally best. The independent unit must match the intended deployment target. Every data-dependent operation must also exclude the observations used for performance estimation.
• Abstract（参考訳）: モデル検証は、新しいデータに対する完全な学習手順のパフォーマンスを推定する。 しかし、無効な分割は楽観的で安定した結果をもたらす。 このチュートリアルは、ホールドアウトバリデーション、トレイン/バリデーション/テスト設計、繰り返しランダムサブサンプリング、kフォールドと繰り返し成層化されたクロスバリデーション、離脱と離脱のスキーム、グループ認識バリデーション、ネストされたグループクロスバリデーションをレビューする。 一般的な機械学習の原則は、脳波エポック、ペア眼OCT画像、反復臨床測定、マルチセンターデータに関連付けられている。 8つの制御されたシナリオは、欠陥のある設計とリークセーフな設計を比較する: 7つのロックされた混乱行列と監査可能なメトリクス、そして1つは再現可能な繰り返し学習シミュレーションを使用する。 シナリオには、グローバルな機能選択、正規化リーク、依存レコード、センターミキシング、繰り返しテストセットの使用、推定器の不安定性が含まれる。 バイアス、分散、メートル法集約、不確実性、計算コストについても検討する。 データサイズマトリックス、決定ツリー、およびレポートチェックリストを提供する。 再現可能なMATLABテンプレートとシキト学習テンプレートが含まれている。 その結果, 検証方法が最適でないことが明らかとなった。 独立したユニットは、意図したデプロイメントターゲットにマッチしなければならない。 データに依存したすべての操作は、パフォーマンス推定に使用される観測を除外する必要がある。

関連論文リスト

• Irredundant $k$-Fold Cross-Validation [0.0]
  従来のk-foldクロスバリデーションでは、各インスタンスはトレーニングに1回(k-1$)、テストに1回使用されるため、冗長性が生じる。 Irredundant $k$-fold cross-validationは、各インスタンスがトレーニングに1回、テストに1回正確に使用されることを保証する新しい方法です。
  論文  参考訳（メタデータ） (2025-07-26T19:59:37Z)
• Improving Bias Correction Standards by Quantifying its Effects on Treatment Outcomes [54.18828236350544]
  Propensity score matching (PSM) は、分析のために同等の人口を選択することで選択バイアスに対処する。 異なるマッチング手法は、すべての検証基準を満たす場合でも、同じタスクに対する平均処理効果(ATE)を著しく異なるものにすることができる。 この問題に対処するため,新しい指標A2Aを導入し,有効試合数を削減した。
  論文  参考訳（メタデータ） (2024-07-20T12:42:24Z)
• Distributional bias compromises leave-one-out cross-validation [0.6656737591902598]
  クロスバリデーションは機械学習モデルの予測性能を推定する一般的な手法である。 そこで本研究では,"leave-out-out cross-validation" という手法によって,各トレーニングフォールドの平均ラベルと対応するテストインスタンスのラベルとの間に負の相関が生じることを示す。 分類と回帰の両方に対して分布バイアスを補正する一般化可能な再均衡型クロスバリデーション手法を提案する。
  論文  参考訳（メタデータ） (2024-06-03T15:47:34Z)
• Is K-fold cross validation the best model selection method for Machine Learning? [0.0]
  K-fold cross-validation (CV) は、機械学習の結果が偶然に生成される可能性を確認する最も一般的な手法である。 K-fold CVと実際のリスクの上界(K-fold CUBV)に基づく新しい統計試験が提案されている。
  論文  参考訳（メタデータ） (2024-01-29T18:46:53Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Is this model reliable for everyone? Testing for strong calibration [4.893345190925178]
  十分に校正されたリスク予測モデルでは、平均予測確率は任意のサブグループの真の事象率に近い。 強いキャリブレーションのためのモデル監査のタスクは、潜在的な部分群の数が多すぎるため、難しいことが知られている。 適合性試験の最近の進歩は潜在的な解決策を提供するが、弱い信号を持つ設定には設計されていない。
  論文  参考訳（メタデータ） (2023-07-28T00:59:14Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• MIRACLE: Causally-Aware Imputation via Learning Missing Data Mechanisms [82.90843777097606]
  欠落データに対する因果認識型計算アルゴリズム(MIRACLE)を提案する。 MIRACLEは、欠落発生機構を同時にモデル化することにより、ベースラインの計算を反復的に洗練する。 我々は、MIRACLEが一貫してイミューテーションを改善することができることを示すために、合成および様々な公開データセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2021-11-04T22:38:18Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。