論文の概要: Grouped Sequential Optimization Strategy -- the Application of Hyperparameter Importance Assessment in Deep Learning

• arxiv url: http://arxiv.org/abs/2503.05106v1
• Date: Fri, 07 Mar 2025 03:01:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:23:46.557946
• Title: Grouped Sequential Optimization Strategy -- the Application of Hyperparameter Importance Assessment in Deep Learning
• Title（参考訳）: Grouped Sequential Optimization Strategy -- ディープラーニングにおけるハイパーパラメータ重要度評価の適用
• Authors: Ruinan Wang, Ian Nabney, Mohammad Golbabaee,
• Abstract要約: 我々は「逐次グループ」と呼ばれる新しいHPO戦略を実装している 実験は,6つの画像分類データセットで検証され,ハイパーパラメータ重要度評価(HIA)を組み込むことで,モデル性能を損なうことなくHPOを大幅に加速することを示した。
• 参考スコア（独自算出の注目度）: 1.7778609937758323
• License:
• Abstract: Hyperparameter optimization (HPO) is a critical component of machine learning pipelines, significantly affecting model robustness, stability, and generalization. However, HPO is often a time-consuming and computationally intensive task. Traditional HPO methods, such as grid search and random search, often suffer from inefficiency. Bayesian optimization, while more efficient, still struggles with high-dimensional search spaces. In this paper, we contribute to the field by exploring how insights gained from hyperparameter importance assessment (HIA) can be leveraged to accelerate HPO, reducing both time and computational resources. Building on prior work that quantified hyperparameter importance by evaluating 10 hyperparameters on CNNs using 10 common image classification datasets, we implement a novel HPO strategy called 'Sequential Grouping.' That prior work assessed the importance weights of the investigated hyperparameters based on their influence on model performance, providing valuable insights that we leverage to optimize our HPO process. Our experiments, validated across six additional image classification datasets, demonstrate that incorporating hyperparameter importance assessment (HIA) can significantly accelerate HPO without compromising model performance, reducing optimization time by an average of 31.9\% compared to the conventional simultaneous strategy.
• Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は機械学習パイプラインの重要なコンポーネントであり、モデルの堅牢性、安定性、一般化に大きな影響を及ぼす。 しかし、HPOはしばしば時間を要する計算集約的なタスクである。 グリッドサーチやランダムサーチといった従来のHPO手法は、しばしば非効率に悩まされる。 ベイズ最適化はより効率的であるが、高次元の探索空間では依然として苦戦している。 本稿では,超パラメータ重要度評価(HIA)から得られる知見をHPOの高速化に活用し,時間と計算資源の削減に寄与する。 10の共通画像分類データセットを用いてCNN上で10のハイパーパラメータを評価することで、ハイパーパラメータの重要性を定量化する先行研究に基づいて、「逐次グループ化」と呼ばれる新しいHPO戦略を実装した。 その先行研究は、モデル性能への影響に基づいて、調査対象のハイパーパラメータの重み付けを評価し、HPOプロセスの最適化に活用する価値のある洞察を与えました。 実験は6つの画像分類データセットで検証され、HIA(Hyperparameter importance Assessment)を組み込むことで、モデル性能を損なうことなくHPOを大幅に加速し、従来の同時戦略と比較して平均31.9%の最適化時間を短縮できることを示した。

関連論文リスト

• HyperQ-Opt: Q-learning for Hyperparameter Optimization [0.0]
  本稿では,HPOを逐次決定問題として定式化し,強化学習技術であるQ-ラーニングを活用することにより,HPOに対する新たな視点を示す。 これらのアプローチは、限られた試行数で最適または準最適構成を見つける能力について評価されている。 このパラダイムをポリシーベースの最適化にシフトすることで、スケーラブルで効率的な機械学習アプリケーションのためのHPOメソッドの進歩に寄与する。
  論文  参考訳（メタデータ） (2024-12-23T18:22:34Z)
• Hierarchical Preference Optimization: Learning to achieve goals via feasible subgoals prediction [71.81851971324187]
  本研究は階層型強化学習(HRL)の新しいアプローチである階層型優先度最適化(HPO)を導入する。 HPOは、複雑なロボット制御タスクを解く際に、非定常性と非実用的なサブゴール生成の問題に対処する。 挑戦的なロボットナビゲーションと操作タスクの実験はHPOの素晴らしいパフォーマンスを示しており、ベースラインよりも最大35%改善されている。
  論文  参考訳（メタデータ） (2024-11-01T04:58:40Z)
• Efficient Hyperparameter Importance Assessment for CNNs [1.7778609937758323]
  本稿では,畳み込みニューラルネットワーク(CNN)におけるハイパーパラメータの重み付けを,N-RReliefFというアルゴリズムを用いて定量化する。 我々は10の人気のある画像分類データセットから1万以上のCNNモデルをトレーニングし、広範囲にわたる研究を行う。
  論文  参考訳（メタデータ） (2024-10-11T15:47:46Z)
• Hyperparameter Optimization Can Even be Harmful in Off-Policy Learning and How to Deal with It [20.312864152544954]
  我々は,HPOのサロゲート目的として一般化性能の非バイアス推定器を鼻で適用すると,予期せぬ故障が生じることを示した。 本稿では,上記の課題を同時に扱うために,一般的なHPO手順に対する単純で効率的な補正法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T14:34:16Z)
• PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning [49.92394599459274]
  我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。 各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:26:14Z)
• Two-step hyperparameter optimization method: Accelerating hyperparameter search by using a fraction of a training dataset [0.15420205433587747]
  計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。 我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
  論文  参考訳（メタデータ） (2023-02-08T02:38:26Z)
• FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
  本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。 我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-08T15:29:10Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges [5.139260825952818]
  本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。 HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2021-07-13T04:55:47Z)
• Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
  実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。 提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
  論文  参考訳（メタデータ） (2021-01-17T04:55:30Z)
• HyperSTAR: Task-Aware Hyperparameters for Deep Networks [52.50861379908611]
  HyperSTARは、ディープニューラルネットワークのためのHPOをウォームスタートするタスク認識方式である。 生の画像から直接、データセット(タスク)表現とパフォーマンス予測器を学習する。 既存のメソッドと比較して、最高のパフォーマンスを達成するために、構成を50%少なく評価する。
  論文  参考訳（メタデータ） (2020-05-21T08:56:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。