Fugu-MT 論文翻訳(概要): To tune or not to tune? An Approach for Recommending Important Hyperparameters

論文の概要: To tune or not to tune? An Approach for Recommending Important Hyperparameters

arxiv url: http://arxiv.org/abs/2108.13066v1
Date: Mon, 30 Aug 2021 08:54:58 GMT
ステータス: 処理完了
システム内更新日: 2021-08-31 14:57:00.582179
Title: To tune or not to tune? An Approach for Recommending Important Hyperparameters
Title（参考訳）: チューニングするか、チューニングしないか? 重要なハイパーパラメータを推奨するアプローチ
Authors: Mohamadjavad Bahmani, Radwa El Shawi, Nshan Potikyan, Sherif Sakr
Abstract要約: 機械学習モデルの性能とハイパーパラメータの関係を構築して、トレンドを発見し、洞察を得ることを検討する。この結果から,ユーザが時間を要するチューニング戦略を実行する価値があるかどうかを判断することが可能になる。
参考スコア（独自算出の注目度）: 2.121963121603413
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Novel technologies in automated machine learning ease the complexity of algorithm selection and hyperparameter optimization. Hyperparameters are important for machine learning models as they significantly influence the performance of machine learning models. Many optimization techniques have achieved notable success in hyperparameter tuning and surpassed the performance of human experts. However, depending on such techniques as blackbox algorithms can leave machine learning practitioners without insight into the relative importance of different hyperparameters. In this paper, we consider building the relationship between the performance of the machine learning models and their hyperparameters to discover the trend and gain insights, with empirical results based on six classifiers and 200 datasets. Our results enable users to decide whether it is worth conducting a possibly time-consuming tuning strategy, to focus on the most important hyperparameters, and to choose adequate hyperparameter spaces for tuning. The results of our experiments show that gradient boosting and Adaboost outperform other classifiers across 200 problems. However, they need tuning to boost their performance. Overall, the results obtained from this study provide a quantitative basis to focus efforts toward guided automated hyperparameter optimization and contribute toward the development of better-automated machine learning frameworks.
Abstract（参考訳）: 機械学習における新しい技術は、アルゴリズム選択とハイパーパラメータ最適化の複雑さを和らげる。ハイパーパラメータは機械学習モデルの性能に大きな影響を与えるため、機械学習モデルにとって重要である。多くの最適化技術はハイパーパラメータチューニングで顕著な成功を収め、人間の専門家のパフォーマンスを上回った。しかし、ブラックボックスアルゴリズムのような技術に依存すると、機械学習の実践者は異なるハイパーパラメーターの相対的重要性を知らずに残すことができる。本稿では,6つの分類器と200のデータセットに基づく実験結果を用いて,機械学習モデルの性能とハイパーパラメータの関係を構築し,トレンドを発見し,洞察を得る。提案手法では,時間を要するチューニング戦略を実施すべきかどうかを判断し,最も重要なハイパーパラメータに着目し,チューニングに適したハイパーパラメータ空間を選択する。実験の結果,傾斜促進とadaboostは,200問題にわたる他の分類器よりも優れていることがわかった。しかし、パフォーマンスを高めるにはチューニングが必要だ。総じて,本研究の結果は,誘導型ハイパーパラメータ最適化への取り組みと,より自動化された機械学習フレームワークの開発に寄与する定量的基盤を提供する。

関連論文リスト

AutoRL Hyperparameter Landscapes [69.15927869840918]
強化学習(Reinforcement Learning, RL)は印象的な結果を生み出すことができるが、その使用はハイパーパラメータがパフォーマンスに与える影響によって制限されている。我々は,これらのハイパーパラメータの景観を1つの時間だけではなく,複数の時間内に構築し,解析する手法を提案する。これは、ハイパーパラメータがトレーニング中に動的に調整されるべきであるという理論を支持し、ランドスケープ解析によって得られるAutoRL問題に関するさらなる洞察の可能性を示している。
論文参考訳（メタデータ） (2023-04-05T12:14:41Z)
Hyper-Parameter Auto-Tuning for Sparse Bayesian Learning [72.83293818245978]
我々は、疎ベイズ学習におけるハイパーパラメータチューニングのためのニューラルネットワーク(NN)ベースのオートチューニングを設計し、学習する。コンバージェンス率とリカバリ性能の大幅な向上が達成できることを示す。
論文参考訳（メタデータ） (2022-11-09T12:34:59Z)
AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文参考訳（メタデータ） (2022-03-15T19:25:01Z)
Experimental Investigation and Evaluation of Model-based Hyperparameter Optimization [0.3058685580689604]
本稿では、一般的な機械学習アルゴリズムの理論的および実践的な結果の概要を述べる。 Rパッケージmlrは機械学習モデルの統一インターフェースとして使用される。
論文参考訳（メタデータ） (2021-07-19T11:37:37Z)
Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
論文参考訳（メタデータ） (2021-06-17T00:01:18Z)
Guided Hyperparameter Tuning Through Visualization and Inference [12.035299005299306]
本稿では,ディープラーニングの実践者がハイパーパラメータをより効率的に探索し,チューニングし,最適化することができる可視化システムを提案する。鍵となる考え方は、予測メカニズムを使用して、より最適なハイパーパラメータを直接提案することである。私たちはこのツールをディープラーニングモデルビルダーに関するユーザスタディで評価し、私たちの参加者はツールの採用にほとんど問題がなく、ワークフローの一部として作業しています。
論文参考訳（メタデータ） (2021-05-24T19:55:24Z)
Search Algorithms for Automated Hyper-Parameter Tuning [1.2233362977312945]
グリッド検索とランダム検索という2つの自動ハイパーオプティマイズ手法を開発し、過去の研究のパフォーマンスを評価し改善します。実験の結果,機械学習アルゴリズムにランダム探索とグリッド探索を適用すると精度が向上することがわかった。
論文参考訳（メタデータ） (2021-04-29T22:11:52Z)
On the Importance of Hyperparameter Optimization for Model-based Reinforcement Learning [27.36718899899319]
モデルベース強化学習(MBRL)はデータ効率のよい制御を学習するための有望なフレームワークである。 MBRLは通常、新しい問題やドメインに適用する前に、重要な人間の専門知識が必要です。
論文参考訳（メタデータ） (2021-02-26T18:57:47Z)
Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文参考訳（メタデータ） (2021-02-17T21:03:05Z)
How much progress have we made in neural network training? A New Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
論文参考訳（メタデータ） (2020-10-19T21:46:39Z)
On Hyperparameter Optimization of Machine Learning Algorithms: Theory and Practice [10.350337750192997]
我々は、最先端の最適化手法をいくつか導入し、それらを機械学習アルゴリズムに適用する方法について議論する。この論文は、産業ユーザー、データアナリスト、研究者が機械学習モデルを開発するのに役立つ。
論文参考訳（メタデータ） (2020-07-30T21:11:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。