論文の概要: A New Flexible Train-Test Split Algorithm, an approach for choosing among the Hold-out, K-fold cross-validation, and Hold-out iteration

• arxiv url: http://arxiv.org/abs/2501.06492v1
• Date: Sat, 11 Jan 2025 09:42:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:23:09.654311
• Title: A New Flexible Train-Test Split Algorithm, an approach for choosing among the Hold-out, K-fold cross-validation, and Hold-out iteration
• Title（参考訳）: 新しいフレキシブルトレインテスト分割アルゴリズム - ホールドアウト, Kフォールドクロスバリデーション, ホールドアウト繰り返しの選択方法
• Authors: Zahra Bami, Ali Behnampour, Hassan Doosti,
• Abstract要約: 本研究では,3つのデータセット間でのMLアルゴリズムの精度向上に焦点を当てた。 テストサイズやランダム状態、'k'値などのパラメータを変更することで、精度の評価を改善しました。 本研究は、K-Fold Cross ValidationにおけるK値の普遍性に挑戦し、より良い結果を得るために10%のテストサイズと90%のトレーニングサイズを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Artificial Intelligent transformed industries, like engineering, medicine, finance. Predictive models use supervised learning, a vital Machine learning subset. Crucial for model evaluation, cross-validation includes re-substitution, hold-out, and K-fold. This study focuses on improving the accuracy of ML algorithms across three different datasets. To evaluate Hold-out, Hold-out with iteration, and K-fold Cross-Validation techniques, we created a flexible Python program. By modifying parameters like test size, Random State, and 'k' values, we were able to improve accuracy assessment. The outcomes demonstrate the Hold-out validation method's persistent superiority, particularly with a test size of 10%. With iterations and Random State settings, hold-out with iteration shows little accuracy variance. It suggests that there are variances according to algorithm, with Decision Tree doing best for Framingham and Naive Bayes and K Nearest Neighbors for COVID-19. Different datasets require different optimal K values in K-Fold Cross Validation, highlighting these considerations. This study challenges the universality of K values in K-Fold Cross Validation and suggests a 10% test size and 90% training size for better outcomes. It also emphasizes the contextual impact of dataset features, sample size, feature count, and selected methodologies. Researchers can adapt these codes for their dataset to obtain highest accuracy with specific evaluation.
• Abstract（参考訳）: 人工知能は工学、医学、金融といった産業を変革した。 予測モデルは、重要な機械学習サブセットである教師付き学習を使用する。 モデル評価にとって重要なクロスバリデーションには、置換、ホールドアウト、Kフォールドが含まれる。 本研究では,3つのデータセット間でのMLアルゴリズムの精度向上に焦点を当てた。 Hold-out, Hold-out with iteration, K-fold Cross-Validation 技術を評価するために,我々はフレキシブルなPythonプログラムを開発した。 テストサイズやランダム状態、'k'値などのパラメータを変更することで、精度の評価を改善しました。 その結果、ホールドアウト検証手法の持続的な優位性、特にテストサイズが10%であることを示す。 イテレーションとランダム状態の設定では、反復によるホールドアウトは精度のばらつきをほとんど示さない。 決定木は、FraminghamとNaive BayesとK Nearest Neighborsにとって、COVID-19にとって最善である。 異なるデータセットは、K-Fold Cross Validationで異なる最適なK値を必要とし、これらの考慮点を強調している。 本研究は、K-Fold Cross ValidationにおけるK値の普遍性に挑戦し、より良い結果を得るために10%のテストサイズと90%のトレーニングサイズを提案する。 また、データセット機能、サンプルサイズ、機能カウント、選択された方法論の文脈的影響を強調している。 研究者は、データセットにこれらのコードを適用することで、特定の評価で高い精度を得ることができる。

関連論文リスト

• Limits to classification performance by relating Kullback-Leibler divergence to Cohen's Kappa [0.0]
  理論と手法は詳細に議論され、モンテカルロのデータと実際のデータセットに適用される。 いずれの場合も、この分析は、2つのクラスに対する基礎となる確率密度関数のために、アルゴリズムがこれ以上良い性能を発揮できなかったことを示している。
  論文  参考訳（メタデータ） (2024-03-03T17:36:42Z)
• Is K-fold cross validation the best model selection method for Machine Learning? [0.0]
  K-fold cross-validation (CV) は、機械学習の結果が偶然に生成される可能性を確認する最も一般的な手法である。 K-fold CVと実際のリスクの上界(K-fold CUBV)に基づく新しい統計試験が提案されている。
  論文  参考訳（メタデータ） (2024-01-29T18:46:53Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• A Model-free Closeness-of-influence Test for Features in Supervised Learning [23.345517302581044]
  本研究では,2つの特徴が応答値に与える影響の差について検討する。 まず、特徴の影響に対する近接性の概念を提案し、この定義がモデルにおける係数の大きさに関するよく知られた概念を回復させることを示す。 そこで本研究では,モデルなし教師あり学習問題における影響の近接性をテストする新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-20T19:20:18Z)
• Revisiting Long-tailed Image Classification: Survey and Benchmarks with New Evaluation Metrics [88.39382177059747]
  メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。 ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
  論文  参考訳（メタデータ） (2023-02-03T02:40:54Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Diversity Enhanced Active Learning with Strictly Proper Scoring Rules [4.81450893955064]
  テキスト分類のための能動学習(AL)のための獲得関数について検討する。 我々は、期待損失削減法(ELR)を、ログ確率や負平均二乗誤差などの(厳密な)スコアの増加を推定するために変換する。 BEMPSを用いた平均二乗誤差とログ確率を用いることで、ロバストな取得関数が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T05:02:11Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Calibrated neighborhood aware confidence measure for deep metric learning [0.0]
  深度メートル法学習は、数ショット学習、画像検索、およびオープンセット分類の問題にうまく適用されてきた。 深層学習モデルの信頼度を測定し、信頼できない予測を特定することは、まだオープンな課題です。 本稿では,その分類精度をよく反映した校正・解釈可能な信頼度尺度の定義に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-08T21:05:38Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。