論文の概要: Empirical Study of Overfitting in Deep FNN Prediction Models for Breast Cancer Metastasis

• arxiv url: http://arxiv.org/abs/2208.02150v1
• Date: Wed, 3 Aug 2022 15:36:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-04 13:09:47.867260
• Title: Empirical Study of Overfitting in Deep FNN Prediction Models for Breast Cancer Metastasis
• Title（参考訳）: 乳癌転移の深部FNN予測モデルにおけるオーバーフィッティングの実証的研究
• Authors: Chuhan Xu, Pablo Coen-Pirani, Xia Jiang
• Abstract要約: オーバーフィッティングは、現在のモデルが特定のデータセットに完全に適合し、結果として一般化が弱まるという事実である。 本研究では,乳がん転移に関するEHRデータセットを用いて,深層フィードフォワードニューラルネットワーク(FNN)予測モデルのオーバーフィットについて検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Overfitting is defined as the fact that the current model fits a specific data set perfectly, resulting in weakened generalization, and ultimately may affect the accuracy in predicting future data. In this research we used an EHR dataset concerning breast cancer metastasis to study overfitting of deep feedforward Neural Networks (FNNs) prediction models. We included 11 hyperparameters of the deep FNNs models and took an empirical approach to study how each of these hyperparameters was affecting both the prediction performance and overfitting when given a large range of values. We also studied how some of the interesting pairs of hyperparameters were interacting to influence the model performance and overfitting. The 11 hyperparameters we studied include activate function; weight initializer, number of hidden layers, learning rate, momentum, decay, dropout rate, batch size, epochs, L1, and L2. Our results show that most of the single hyperparameters are either negatively or positively corrected with model prediction performance and overfitting. In particular, we found that overfitting overall tends to negatively correlate with learning rate, decay, batch sides, and L2, but tends to positively correlate with momentum, epochs, and L1. According to our results, learning rate, decay, and batch size may have a more significant impact on both overfitting and prediction performance than most of the other hyperparameters, including L1, L2, and dropout rate, which were designed for minimizing overfitting. We also find some interesting interacting pairs of hyperparameters such as learning rate and momentum, learning rate and decay, and batch size and epochs. Keywords: Deep learning, overfitting, prediction, grid search, feedforward neural networks, breast cancer metastasis.
• Abstract（参考訳）: オーバーフィッティングは、現在のモデルが特定のデータセットに完全に適合し、結果として一般化が弱まり、最終的には将来のデータを予測する精度に影響を及ぼすという事実として定義される。 本研究では,乳がん転移に関するEHRデータセットを用いて,深層フィードフォワードニューラルネットワーク(FNN)予測モデルのオーバーフィットについて検討した。 我々は、深層fnnsモデルの11のハイパーパラメータを含み、これらのハイパーパラメータが予測性能とオーバーフィットの両方にどのように影響しているかを実証的に研究した。 また、興味深いハイパーパラメータのペアが相互作用して、モデルのパフォーマンスとオーバーフィットにどのように影響するかについても研究しました。 私たちが調べた11のハイパーパラメータは、アクティベーション機能、重量初期化機能、隠れレイヤ数、学習速度、運動量、崩壊、ドロップアウト率、バッチサイズ、エポック、l1、l2です。 以上の結果から,1つのハイパーパラメータのほとんどは,モデル予測性能と過度適合により負あるいは正の補正がなされていることがわかった。 特に, オーバーフィットは学習速度, 崩壊側, バッチ側, およびL2と負の相関がみられ, 運動量, エピック, およびL1と正の相関が認められた。 その結果, 学習速度, 崩壊速度, バッチサイズは, オーバーフィッティングを最小化するために設計されたL1, L2, ドロップアウト率などの他のハイパーパラメータよりも, オーバーフィッティングと予測性能に有意な影響を及ぼす可能性が示唆された。 また,学習速度と運動量,学習速度と減衰,バッチサイズとエポックといった,興味深い相互作用するハイパーパラメータペアも発見する。 キーワード:ディープラーニング、過剰適合、予測、グリッド検索、フィードフォワードニューラルネットワーク、乳癌転移。

関連論文リスト

• Kolmogorov-Arnold Networks in Low-Data Regimes: A Comparative Study with Multilayer Perceptrons [2.77390041716769]
  Kolmogorov-Arnold Networks (KAN) は、ネットワークエッジ上で直接、高度に柔軟な学習可能なアクティベーション関数を使用する。 kanは学習可能なパラメータの数を大幅に増加させ、データスカース環境での有効性に対する懸念を高めます。 個別化活性化関数はパラメータの緩やかな増加だけで予測精度が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-09-16T16:56:08Z)
• Deep Learning to Predict Late-Onset Breast Cancer Metastasis: the Single Hyperparameter Grid Search (SHGS) Strategy for Meta Tuning Concerning Deep Feed-forward Neural Network [7.332652485849632]
  n年前から乳がんの転移を予測できるDFNNモデルの構築に取り組んできた。 この課題は、時間とリソースの制約を考慮して、グリッドサーチによって最適なハイパーパラメータ値を効率的に特定することにある。
  論文  参考訳（メタデータ） (2024-08-28T03:00:43Z)
• Predicting Multi-Joint Kinematics of the Upper Limb from EMG Signals Across Varied Loads with a Physics-Informed Neural Network [0.0]
  PINNモデルは、フィードフォワードニューラルネットワーク(ANN)とジョイントトルクモデルを組み合わせることで構成される。 PINNモデルのトレーニングデータセットは、EMGと4つの異なる被験者から収集された時間データを含む。 その結果,関節角度予測では58%から83%の相関が認められた。
  論文  参考訳（メタデータ） (2023-11-28T16:55:11Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Improving Prediction of Cognitive Performance using Deep Neural Networks in Sparse Data [2.867517731896504]
  MIDUS(Midlife in the United States)の観察・コホート研究から得られたデータを用いて,エグゼクティブ機能とエピソード記憶測定をモデル化した。 ディープニューラルネットワーク(DNN)モデルは、認知パフォーマンス予測タスクの中で一貫して最高である。
  論文  参考訳（メタデータ） (2021-12-28T22:23:08Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Bootstrapping Your Own Positive Sample: Contrastive Learning With Electronic Health Record Data [62.29031007761901]
  本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。 EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。 私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
  論文  参考訳（メタデータ） (2021-04-07T06:02:04Z)
• Learning Curves for Drug Response Prediction in Cancer Cell Lines [29.107984441845673]
  2つのニューラルネットワーク(NN)と2つの勾配強化決定木(GBDT)モデルの4つの薬物スクリーニングデータセットで訓練されたデータスケーリング特性を評価する。 学習曲線は、パワーローモデルに正確に適合し、これらの予測器のデータスケーリング挙動を評価するためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-11-25T01:08:05Z)
• Assessing Graph-based Deep Learning Models for Predicting Flash Point [52.931492216239995]
  グラフベースのディープラーニング(GBDL)モデルは初めてフラッシュポイントを予測するために実装された。 MPNNの平均R2と平均絶対誤差(MAE)は、それぞれ2.3%低、2.0K高である。
  論文  参考訳（メタデータ） (2020-02-26T06:10:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。