論文の概要: BTTackler: A Diagnosis-based Framework for Efficient Deep Learning Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2602.23630v1
• Date: Fri, 27 Feb 2026 03:08:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 19:48:24.220652
• Title: BTTackler: A Diagnosis-based Framework for Efficient Deep Learning Hyperparameter Optimization
• Title（参考訳）: BTTackler: 効率的なディープラーニングハイパーパラメータ最適化のための診断ベースのフレームワーク
• Authors: Zhongyi Pei, Zhiyao Cen, Yipeng Huang, Chen Wang, Lin Liu, Philip Yu, Mingsheng Long,
• Abstract要約: 我々は、トレーニング問題を自動的に識別するトレーニング診断を導入したHPOフレームワークである textbfBad Trial Tackler (Tackler) を提案する。 タックラーは、慎重に設計された定量化指標のセットを計算して各試行を診断し、訓練上の問題が検出された場合に早期終了を誘導する。 結果はTacklerの利点を2倍に示す: 1) 平均でベースライン法に匹敵する精度を達成するために時間消費の40.33%を削減し、(2) 所定の時間予算で平均するベースライン法よりも44.5%多いトップ10試験を行う。
• 参考スコア（独自算出の注目度）: 37.171887453798014
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Hyperparameter optimization (HPO) is known to be costly in deep learning, especially when leveraging automated approaches. Most of the existing automated HPO methods are accuracy-based, i.e., accuracy metrics are used to guide the trials of different hyperparameter configurations amongst a specific search space. However, many trials may encounter severe training problems, such as vanishing gradients and insufficient convergence, which can hardly be reflected by accuracy metrics in the early stages of the training and often result in poor performance. This leads to an inefficient optimization trajectory because the bad trials occupy considerable computation resources and reduce the probability of finding excellent hyperparameter configurations within a time limitation. In this paper, we propose \textbf{Bad Trial Tackler (BTTackler)}, a novel HPO framework that introduces training diagnosis to identify training problems automatically and hence tackles bad trials. BTTackler diagnoses each trial by calculating a set of carefully designed quantified indicators and triggers early termination if any training problems are detected. Evaluations are performed on representative HPO tasks consisting of three classical deep neural networks (DNN) and four widely used HPO methods. To better quantify the effectiveness of an automated HPO method, we propose two new measurements based on accuracy and time consumption. Results show the advantage of BTTackler on two-fold: (1) it reduces 40.33\% of time consumption to achieve the same accuracy comparable to baseline methods on average and (2) it conducts 44.5\% more top-10 trials than baseline methods on average within a given time budget. We also released an open-source Python library that allows users to easily apply BTTackler to automated HPO processes with minimal code changes.
• Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は、特に自動化アプローチを利用する場合、ディープラーニングにおいてコストがかかることが知られている。 既存の自動HPO法の多くは精度に基づいており、例えば、特定の検索空間内で異なるハイパーパラメータ構成の試行を導くために精度メトリクスが使用される。 しかし、多くの試行は、勾配の消失や収束の不十分といった厳しい訓練問題に遭遇する可能性がある。 これは、悪い試行がかなりの計算資源を占有し、時間制限内で優れたハイパーパラメータ構成を見つける確率を減らすため、非効率な最適化軌道につながる。 本稿では,トレーニング問題を自動診断するHPOフレームワークであるtextbf{Bad Trial Tackler (BTTackler)}を提案する。 BTTacklerは、慎重に設計された定量化指標のセットを計算して各試行を診断し、訓練上の問題が検出された場合に早期終了を誘導する。 3つの古典的ディープニューラルネットワーク(DNN)と4つの広く使用されているHPOメソッドからなる代表的HPOタスクで評価を行う。 自動HPO法の有効性を定量的に評価するために, 精度と時間消費に基づく2つの新しい測定法を提案する。 その結果、BTTackler の2倍の利点が示される:(1) 時間消費の 40.33 % を減らし、平均でベースライン法に匹敵する精度を達成し、(2) 所定の時間予算で平均でベースライン法よりも44.5 % 高いトップ10試行を行う。 また、BTTacklerを最小限のコード変更でHPOプロセスの自動化に簡単に適用できるオープンソースのPythonライブラリもリリースしました。

関連論文リスト

• How far away are truly hyperparameter-free learning algorithms? [21.3925393750153]
  我々は,ハイパーパラメータフリー手法の構成要素として,学習速度フリー手法の可能性を評価する。 文献提供のデフォルト設定がベンチマークでは不十分であることが分かりました。 最高のAlgoPerf校正学習レートフリーメソッドは、パフォーマンスが大幅に向上したが、ベンチマークスコア全体でも同様の校正ベースラインにわずかに遅れを取っていた。
  論文  参考訳（メタデータ） (2025-05-29T20:57:31Z)
• ULTHO: Ultra-Lightweight yet Efficient Hyperparameter Optimization in Deep Reinforcement Learning [50.53705050673944]
  ULTHOは,1回の走行で深部RLで高速HPOを実現するための,超軽量で強力なフレームワークである。 具体的には、HPOプロセスは、クラスタ化されたアーム(MABC)を備えたマルチアームバンディットとして定式化し、それを長期の戻り値の最適化に直接リンクする。 ALE、Procgen、MiniGrid、PyBulletなどのベンチマークでULTHOをテストする。
  論文  参考訳（メタデータ） (2025-03-08T07:03:43Z)
• Scaling Test-Time Compute Without Verification or RL is Suboptimal [70.28430200655919]
  RL法や検索法に基づく検証器ベース (VB) 手法による微調整は, 一定量の計算・データ予算を条件として, 蒸留・クローニングに基づく検証器フリー (VF) 手法よりもはるかに優れていることを示す。 我々は,3/8Bの事前学習型LLMのドクティクスと数学推論の両問題に対して,我々の理論を実証的に相関させ,テスト時間計算のスケーリングには検証が不可欠であることを確認した。
  論文  参考訳（メタデータ） (2025-02-17T18:43:24Z)
• Fast T2T: Optimization Consistency Speeds Up Diffusion-Based Training-to-Testing Solving for Combinatorial Optimization [83.65278205301576]
  雑音レベルから与えられたインスタンスの最適解への直接写像を学習し、最小限のショットで高品質な生成を容易にすることを提案する。 これは、サンプル間の差を最小限に抑える最適化一貫性トレーニングプロトコルによって達成される。 The Traveling Salesman Problem (TSP) と Maximal Independent Set (MIS) は、ソリューションの品質と効率の両方に関して、Fast T2Tの優位性を実証している。
  論文  参考訳（メタデータ） (2025-02-05T07:13:43Z)
• Improving Bias Correction Standards by Quantifying its Effects on Treatment Outcomes [54.18828236350544]
  Propensity score matching (PSM) は、分析のために同等の人口を選択することで選択バイアスに対処する。 異なるマッチング手法は、すべての検証基準を満たす場合でも、同じタスクに対する平均処理効果(ATE)を著しく異なるものにすることができる。 この問題に対処するため,新しい指標A2Aを導入し,有効試合数を削減した。
  論文  参考訳（メタデータ） (2024-07-20T12:42:24Z)
• Two-step hyperparameter optimization method: Accelerating hyperparameter search by using a fraction of a training dataset [0.15420205433587747]
  計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。 我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
  論文  参考訳（メタデータ） (2023-02-08T02:38:26Z)
• Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges [5.139260825952818]
  本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。 HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2021-07-13T04:55:47Z)
• Overfitting in Bayesian Optimization: an empirical study and early-stopping solution [41.782410830989136]
  早期停止BOへの最初の問題適応性と解釈可能な基準を提案する。 提案手法は, テスト精度をほとんど損なうことなく, 計算時間を実質的に削減できることを示す。
  論文  参考訳（メタデータ） (2021-04-16T15:26:23Z)
• Training Aware Sigmoidal Optimizer [2.99368851209995]
  Aware Sigmoidal関数をトレーニングすると、ローカルミニマよりもはるかにサドルロスの風景が表示されます。 本研究では,2相自動学習率スケジュールからなるTASO(Training Aware Sigmoidal Function)を提案する。 提案手法をAdam、RMS、Adagradなどの一般的な適応学習率スケジュールと比較した。
  論文  参考訳（メタデータ） (2021-02-17T12:00:46Z)
• Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
  実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。 提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
  論文  参考訳（メタデータ） (2021-01-17T04:55:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。