論文の概要: Efficient Hyperparameter Importance Assessment for CNNs

• arxiv url: http://arxiv.org/abs/2410.08920v1
• Date: Fri, 11 Oct 2024 15:47:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 21:06:06.680415
• Title: Efficient Hyperparameter Importance Assessment for CNNs
• Title（参考訳）: CNNの高パラメータ・コンパタンス評価
• Authors: Ruinan Wang, Ian Nabney, Mohammad Golbabaee,
• Abstract要約: 本稿では,畳み込みニューラルネットワーク(CNN)におけるハイパーパラメータの重み付けを,N-RReliefFというアルゴリズムを用いて定量化する。 我々は10の人気のある画像分類データセットから1万以上のCNNモデルをトレーニングし、広範囲にわたる研究を行う。
• 参考スコア（独自算出の注目度）: 1.7778609937758323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperparameter selection is an essential aspect of the machine learning pipeline, profoundly impacting models' robustness, stability, and generalization capabilities. Given the complex hyperparameter spaces associated with Neural Networks and the constraints of computational resources and time, optimizing all hyperparameters becomes impractical. In this context, leveraging hyperparameter importance assessment (HIA) can provide valuable guidance by narrowing down the search space. This enables machine learning practitioners to focus their optimization efforts on the hyperparameters with the most significant impact on model performance while conserving time and resources. This paper aims to quantify the importance weights of some hyperparameters in Convolutional Neural Networks (CNNs) with an algorithm called N-RReliefF, laying the groundwork for applying HIA methodologies in the Deep Learning field. We conduct an extensive study by training over ten thousand CNN models across ten popular image classification datasets, thereby acquiring a comprehensive dataset containing hyperparameter configuration instances and their corresponding performance metrics. It is demonstrated that among the investigated hyperparameters, the top five important hyperparameters of the CNN model are the number of convolutional layers, learning rate, dropout rate, optimizer and epoch.
• Abstract（参考訳）: ハイパーパラメータの選択は機械学習パイプラインの重要な側面であり、モデルの堅牢性、安定性、一般化能力に大きな影響を与える。 ニューラルネットワークに関連する複雑なハイパーパラメータ空間と計算資源と時間の制約を考えると、すべてのハイパーパラメータを最適化するのは現実的ではない。 この文脈では、ハイパーパラメータ重要度評価(HIA)を活用することで、探索空間を狭めることで、貴重なガイダンスを提供することができる。 これにより、機械学習の実践者は、時間とリソースを保持しながら、モデルパフォーマンスに最も大きな影響を与えながら、ハイパーパラメータに最適化作業に集中することができる。 本稿では, 畳み込みニューラルネットワーク(CNN)におけるハイパーパラメータの重み付けを, N-RReliefFアルゴリズムを用いて定量化し, ディープラーニング分野におけるHIA手法の適用の基礎となる。 10の一般的な画像分類データセットから1万以上のCNNモデルをトレーニングし、ハイパーパラメータ設定インスタンスとそれに対応するパフォーマンスメトリクスを含む包括的なデータセットを取得することで、広範な研究を行う。 調査対象のハイパーパラメータのうち,CNNモデルの上位5つの重要なハイパーパラメータは,畳み込み層数,学習速度,ドロップアウト率,オプティマイザ数,エポック数である。

関連論文リスト

• Optimization of Actuarial Neural Networks with Response Surface Methodology [0.0]
  本研究では,CANNの性能を最適化するために因子設計および応答面法(RSM)を用いる。 統計的に重要でないハイパーパラメーターを減らし,288から188に減らした。
  論文  参考訳（メタデータ） (2024-10-01T15:45:41Z)
• Optimization Hyper-parameter Laws for Large Language Models [56.322914260197734]
  ハイパーパラメータとトレーニング結果の関係をキャプチャするフレームワークであるOps-Lawsを提案する。 さまざまなモデルサイズとデータスケールにわたる検証は、Opt-Lawsのトレーニング損失を正確に予測する能力を示しています。 このアプローチは、全体的なモデル性能を高めながら、計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-09-07T09:37:19Z)
• Goal-Oriented Sensitivity Analysis of Hyperparameters in Deep Learning [0.0]
  Hilbert-Schmidt Independence Criterion (HSIC) に基づく目標指向感度分析のハイパーパラメータ解析および最適化への応用について検討した。 MNISTやCifar、古典的な機械学習データセットに応用したHSICに基づく最適化アルゴリズムを導出し、科学的な機械学習に関心を持つ。
  論文  参考訳（メタデータ） (2022-07-13T14:21:12Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• To tune or not to tune? An Approach for Recommending Important Hyperparameters [2.121963121603413]
  機械学習モデルの性能とハイパーパラメータの関係を構築して、トレンドを発見し、洞察を得ることを検討する。 この結果から,ユーザが時間を要するチューニング戦略を実行する価値があるかどうかを判断することが可能になる。
  論文  参考訳（メタデータ） (2021-08-30T08:54:58Z)
• HyperNP: Interactive Visual Exploration of Multidimensional Projection Hyperparameters [61.354362652006834]
  HyperNPは、ニューラルネットワーク近似をトレーニングすることで、プロジェクションメソッドをリアルタイムにインタラクティブに探索できるスケーラブルな方法である。 我々は3つのデータセット間でのHyperNPの性能を,性能と速度の観点から評価した。
  論文  参考訳（メタデータ） (2021-06-25T17:28:14Z)
• On the Importance of Hyperparameter Optimization for Model-based Reinforcement Learning [27.36718899899319]
  モデルベース強化学習(MBRL)はデータ効率のよい制御を学習するための有望なフレームワークである。 MBRLは通常、新しい問題やドメインに適用する前に、重要な人間の専門知識が必要です。
  論文  参考訳（メタデータ） (2021-02-26T18:57:47Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• On the Sparsity of Neural Machine Translation Models [65.49762428553345]
  性能向上のために冗長パラメータを再利用できるかどうかを検討する。 実験と分析は異なるデータセットとNTTアーキテクチャで体系的に行われる。
  論文  参考訳（メタデータ） (2020-10-06T11:47:20Z)
• An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization [48.5614138038673]
  本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。 また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。 実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
  論文  参考訳（メタデータ） (2020-07-11T03:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。