論文の概要: Deep Learning to Predict Late-Onset Breast Cancer Metastasis: the Single Hyperparameter Grid Search (SHGS) Strategy for Meta Tuning Concerning Deep Feed-forward Neural Network
- arxiv url: http://arxiv.org/abs/2408.15498v1
- Date: Wed, 28 Aug 2024 03:00:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 17:22:57.322607
- Title: Deep Learning to Predict Late-Onset Breast Cancer Metastasis: the Single Hyperparameter Grid Search (SHGS) Strategy for Meta Tuning Concerning Deep Feed-forward Neural Network
- Title（参考訳）: 遅発性乳癌転移予測のための深層学習 : 深層フィードフォワードニューラルネットワークを用いたメタチューニングのための単一ハイパーパラメータグリッドサーチ(SHGS)戦略
- Authors: Yijun Zhou, Om Arora-Jain, Xia Jiang,
- Abstract要約: n年前から乳がんの転移を予測できるDFNNモデルの構築に取り組んできた。
この課題は、時間とリソースの制約を考慮して、グリッドサーチによって最適なハイパーパラメータ値を効率的に特定することにある。
- 参考スコア（独自算出の注目度）: 7.332652485849632
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: While machine learning has advanced in medicine, its widespread use in clinical applications, especially in predicting breast cancer metastasis, is still limited. We have been dedicated to constructing a DFNN model to predict breast cancer metastasis n years in advance. However, the challenge lies in efficiently identifying optimal hyperparameter values through grid search, given the constraints of time and resources. Issues such as the infinite possibilities for continuous hyperparameters like l1 and l2, as well as the time-consuming and costly process, further complicate the task. To address these challenges, we developed Single Hyperparameter Grid Search (SHGS) strategy, serving as a preselection method before grid search. Our experiments with SHGS applied to DFNN models for breast cancer metastasis prediction focus on analyzing eight target hyperparameters: epochs, batch size, dropout, L1, L2, learning rate, decay, and momentum. We created three figures, each depicting the experiment results obtained from three LSM-I-10-Plus-year datasets. These figures illustrate the relationship between model performance and the target hyperparameter values. For each hyperparameter, we analyzed whether changes in this hyperparameter would affect model performance, examined if there were specific patterns, and explored how to choose values for the particular hyperparameter. Our experimental findings reveal that the optimal value of a hyperparameter is not only dependent on the dataset but is also significantly influenced by the settings of other hyperparameters. Additionally, our experiments suggested some reduced range of values for a target hyperparameter, which may be helpful for low-budget grid search. This approach serves as a prior experience and foundation for subsequent use of grid search to enhance model performance.
- Abstract（参考訳）: 機械学習は医学において進歩してきたが、臨床応用、特に乳癌転移の予測に広く用いられていることは、いまだに限られている。
n年前から乳がんの転移を予測できるDFNNモデルの構築に取り組んできた。
しかし、時間と資源の制約を考えると、グリッドサーチによって最適なハイパーパラメータ値を効率的に同定することが課題である。
l1 や l2 のような連続ハイパーパラメータの無限可能性や、時間とコストのかかるプロセスといった問題は、タスクをさらに複雑にする。
これらの課題に対処するために、格子探索の前に事前選択法として機能する単一ハイパーパラメータグリッド探索(SHGS)戦略を開発した。
乳癌転移予測のためのDFNNモデルに適用したSHGSを用いた実験は, エピック, バッチサイズ, ドロップアウト, L1, L2, 学習速度, 崩壊, 運動量という8つのターゲットハイパーパラメータを解析することに焦点を当てた。
我々は3つの図を作成し、それぞれが3つのLSM-I-10-Plus-yearデータセットから得られた実験結果を示している。
これらの図は、モデル性能とターゲットのハイパーパラメータ値の関係を描いている。
各ハイパーパラメータに対して、このハイパーパラメータの変化がモデル性能に影響を及ぼすかどうかを分析し、特定のパターンが存在するかどうかを調べ、特定のハイパーパラメータの値を選択する方法について検討した。
実験の結果,ハイパーパラメータの最適値はデータセットに依存するだけでなく,他のハイパーパラメータの設定に大きく影響していることがわかった。
さらに,本実験では,低予算グリッド探索に有効なターゲットハイパーパラメータの値範囲の縮小が示唆された。
このアプローチは、モデル性能を向上させるためにグリッドサーチをその後の使用において、事前の経験と基礎となる。
関連論文リスト
- Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。
私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。
最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
論文 参考訳（メタデータ） (2024-07-08T12:32:51Z) - Empirical Study of Overfitting in Deep FNN Prediction Models for Breast
Cancer Metastasis [0.0]
オーバーフィッティングは、現在のモデルが特定のデータセットに完全に適合し、結果として一般化が弱まるという事実である。
本研究では,乳がん転移に関するEHRデータセットを用いて,深層フィードフォワードニューラルネットワーク(FNN)予測モデルのオーバーフィットについて検討した。
論文 参考訳（メタデータ） (2022-08-03T15:36:12Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - Survival Prediction of Children Undergoing Hematopoietic Stem Cell
Transplantation Using Different Machine Learning Classifiers by Performing
Chi-squared Test and Hyper-parameter Optimization: A Retrospective Analysis [4.067706269490143]
効率的な生存率分類モデルが包括的に提示される。
欠落した値を入力し、ダミー変数符号化を用いてデータを変換し、チ二乗特徴選択を用いて59個の特徴から11個の最も相関した特徴にデータセットを圧縮することにより、合成データセットを生成する。
この点に関しては、決定木(Decision Tree)、ランダムフォレスト(Random Forest)、ロジスティック回帰(Logistic Regression)、K-Nearest Neighbors(K-Nearest Neighbors)、グラディエントブースティング(Gradient Boosting)、Ada Boost(Ada Boost)、XG Boost(XG Boost)など、いくつかの教師付きML手法が訓練された。
論文 参考訳（メタデータ） (2022-01-22T08:01:22Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳（メタデータ） (2021-04-12T16:23:37Z) - A Population-based Hybrid Approach to Hyperparameter Optimization for
Neural Networks [0.0]
HBRKGAは、Biased Random Key Genetic AlgorithmとRandom Walk技術を組み合わせて、ハイパーパラメータ空間を効率的に探索するハイブリッドアプローチである。
その結果、HBRKGAは8つのデータセットのうち6つにおいて、ベースライン法よりも優れたハイパーパラメータ構成を見つけることができた。
論文 参考訳（メタデータ） (2020-11-22T17:12:31Z) - How much progress have we made in neural network training? A New
Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。
評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。
次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
論文 参考訳（メタデータ） (2020-10-19T21:46:39Z) - An Asymptotically Optimal Multi-Armed Bandit Algorithm and
Hyperparameter Optimization [48.5614138038673]
本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。
また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。
実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
論文 参考訳（メタデータ） (2020-07-11T03:15:21Z) - Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian
Optimization and Tuning Rules [0.6875312133832078]
トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。
我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
論文 参考訳（メタデータ） (2020-06-03T08:53:48Z) - Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。
ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。
本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
論文 参考訳（メタデータ） (2020-02-19T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。