Fugu-MT 論文翻訳(概要): Behavior of Hyper-Parameters for Selected Machine Learning Algorithms: An Empirical Investigation

論文の概要: Behavior of Hyper-Parameters for Selected Machine Learning Algorithms: An Empirical Investigation

arxiv url: http://arxiv.org/abs/2211.08536v1
Date: Tue, 15 Nov 2022 22:14:52 GMT
ステータス: 処理完了
システム内更新日: 2022-11-17 15:58:02.693630
Title: Behavior of Hyper-Parameters for Selected Machine Learning Algorithms: An Empirical Investigation
Title（参考訳）: 選択機械学習アルゴリズムにおけるハイパーパラメータの挙動:実証的研究
Authors: Anwesha Bhattacharyya, Joel Vaughan, and Vijayan N. Nair
Abstract要約: ハイパーパラメータ(HP)は機械学習(ML)モデル開発において重要な部分であり、性能に大きな影響を与える可能性がある。本稿では,3つのアルゴリズム(XGB),ランダムフォレスト(RF),フィードフォワードニューラルネットワーク(FFNN))の振る舞いを構造化データを用いて検討する。実験により,HPの変動に伴うモデル性能の質的挙動を検証し,各HPのMLアルゴリズムの重要性を定量化し,最適領域に近い性能の安定性を検証した。
参考スコア（独自算出の注目度）: 3.441021278275805
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hyper-parameters (HPs) are an important part of machine learning (ML) model development and can greatly influence performance. This paper studies their behavior for three algorithms: Extreme Gradient Boosting (XGB), Random Forest (RF), and Feedforward Neural Network (FFNN) with structured data. Our empirical investigation examines the qualitative behavior of model performance as the HPs vary, quantifies the importance of each HP for different ML algorithms, and stability of the performance near the optimal region. Based on the findings, we propose a set of guidelines for efficient HP tuning by reducing the search space.
Abstract（参考訳）: ハイパーパラメータ(hps)は機械学習(ml)モデル開発の重要な部分であり、パフォーマンスに大きな影響を与える。本稿では,これらのアルゴリズムの動作について検討する。xgb(extreme gradient boosting),rf(random forest),ffnn(feedforward neural network)の3つである。実験により,HPの変動に伴うモデル性能の質的挙動を検証し,各HPのMLアルゴリズムの重要性を定量化し,最適領域に近い性能の安定性を検証した。そこで本研究では,検索空間の縮小による効率的なhpチューニングのためのガイドラインを提案する。

関連論文リスト

A Comparative Study of Hyperparameter Tuning Methods [0.0]
木構造型Parzen Estimator (TPE)、遺伝的検索、ランダム検索は回帰および分類タスク間で評価される。ランダム検索は回帰タスクに優れ、TPEは分類タスクに効果的であった。
論文参考訳（メタデータ） (2024-08-29T10:35:07Z)
Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
論文参考訳（メタデータ） (2024-05-07T17:44:54Z)
Robustness of Algorithms for Causal Structure Learning to Hyperparameter Choice [2.3020018305241337]
ハイパーパラメータチューニングは、どんなアルゴリズムでも最先端と予測性能の低さを区別することができる。本稿では,ハイパーパラメータ選択が因果構造学習タスクに及ぼす影響について検討する。
論文参考訳（メタデータ） (2023-10-27T15:34:08Z)
Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文参考訳（メタデータ） (2023-04-12T14:51:47Z)
Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文参考訳（メタデータ） (2022-10-02T05:03:38Z)
Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文参考訳（メタデータ） (2022-09-09T14:58:43Z)
Evaluating natural language processing models with generalization metrics that do not need access to any training or testing data [66.11139091362078]
本稿では,Hugingface から事前学習した大規模トランスフォーマーに対して,一般化指標を用いた最初のモデル選択結果を提案する。ニッチな状況にもかかわらず、ヘビーテール(HT)の観点から派生したメトリクスは、特にNLPタスクにおいて有用である。
論文参考訳（メタデータ） (2022-02-06T20:07:35Z)
A survey on multi-objective hyperparameter optimization algorithms for Machine Learning [62.997667081978825]
本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
論文参考訳（メタデータ） (2021-11-23T10:22:30Z)
Genealogical Population-Based Training for Hyperparameter Optimization [1.0514231683620516]
本研究では,計算コストの2倍から3倍に削減できることを実験的に実証した。本手法は探索アルゴリズムであり,内部探索ルーチンをTPE,GP,CMA,ランダム探索などの任意の探索アルゴリズムにすることができる。
論文参考訳（メタデータ） (2021-09-30T08:49:41Z)
Experimental Investigation and Evaluation of Model-based Hyperparameter Optimization [0.3058685580689604]
本稿では、一般的な機械学習アルゴリズムの理論的および実践的な結果の概要を述べる。 Rパッケージmlrは機械学習モデルの統一インターフェースとして使用される。
論文参考訳（メタデータ） (2021-07-19T11:37:37Z)
Better Trees: An empirical study on hyperparameter tuning of classification decision tree induction algorithms [5.4611430411491115]
決定木誘導アルゴリズムは高い予測性能と解釈可能な分類モデルを示す。本稿では,CARTとC4.5の2つのDT誘導アルゴリズムに対するハイパーパラメータチューニングの効果について検討する。 OpenMLから94の分類データセットを用いて,モデルを誘導し,HPの妥当性を評価するための異なるチューニング手法を用いて実験を行った。
論文参考訳（メタデータ） (2018-12-05T19:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。