Fugu-MT 論文翻訳(概要): Hyper-Parameter Optimization: A Review of Algorithms and Applications

論文の概要: Hyper-Parameter Optimization: A Review of Algorithms and Applications

arxiv url: http://arxiv.org/abs/2003.05689v1
Date: Thu, 12 Mar 2020 10:12:22 GMT
ステータス: 処理完了
システム内更新日: 2022-12-24 13:56:32.986772
Title: Hyper-Parameter Optimization: A Review of Algorithms and Applications
Title（参考訳）: ハイパーパラメータ最適化:アルゴリズムと応用のレビュー
Authors: Tong Yu and Hong Zhu
Abstract要約: 本稿では,自動ハイパーパラメータ最適化(HPO)における最も重要なトピックについて概説する。この研究は主要な最適化アルゴリズムとその適用性に焦点を当て、特にディープラーニングネットワークの効率と精度をカバーしている。本稿では,HPOをディープラーニングに適用する際の問題点,最適化アルゴリズムの比較,および限られた計算資源を用いたモデル評価における顕著なアプローチについて述べる。
参考スコア（独自算出の注目度）: 14.524227656147968
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Since deep neural networks were developed, they have made huge contributions to everyday lives. Machine learning provides more rational advice than humans are capable of in almost every aspect of daily life. However, despite this achievement, the design and training of neural networks are still challenging and unpredictable procedures. To lower the technical thresholds for common users, automated hyper-parameter optimization (HPO) has become a popular topic in both academic and industrial areas. This paper provides a review of the most essential topics on HPO. The first section introduces the key hyper-parameters related to model training and structure, and discusses their importance and methods to define the value range. Then, the research focuses on major optimization algorithms and their applicability, covering their efficiency and accuracy especially for deep learning networks. This study next reviews major services and toolkits for HPO, comparing their support for state-of-the-art searching algorithms, feasibility with major deep learning frameworks, and extensibility for new modules designed by users. The paper concludes with problems that exist when HPO is applied to deep learning, a comparison between optimization algorithms, and prominent approaches for model evaluation with limited computational resources.
Abstract（参考訳）: ディープニューラルネットワークが開発されて以来、彼らは日常生活に大きな貢献をした。機械学習は、人間よりも日常生活のほぼすべての面において、より合理的なアドバイスを提供する。しかし、この成果にもかかわらず、ニューラルネットワークの設計とトレーニングは依然として困難で予測不可能な手順である。一般ユーザにとっての技術的閾値を下げるために,HPO(Automatic Hyper-parameter Optimization)が学術分野と産業分野の両方で人気となっている。本稿ではHPOにおける最も重要なトピックについて概説する。第1節では、モデルトレーニングと構造に関する重要なハイパーパラメータを紹介し、その重要性と値範囲を定義する方法について議論する。そこで本研究では,特に深層学習ネットワークにおける最適化アルゴリズムとその適用性に着目した。本研究は,hpoの主要なサービスとツールキットを次にレビューし,最先端検索アルゴリズムのサポート,主要なディープラーニングフレームワークによる実現可能性,ユーザが設計した新しいモジュールの拡張性を比較した。本稿では,HPOをディープラーニングに適用する際の問題点,最適化アルゴリズムの比較,および限られた計算資源を用いたモデル評価における顕著なアプローチについて述べる。

関連論文リスト

Efficient Hyperparameter Importance Assessment for CNNs [1.7778609937758323]
本稿では,畳み込みニューラルネットワーク(CNN)におけるハイパーパラメータの重み付けを,N-RReliefFというアルゴリズムを用いて定量化する。我々は10の人気のある画像分類データセットから1万以上のCNNモデルをトレーニングし、広範囲にわたる研究を行う。
論文参考訳（メタデータ） (2024-10-11T15:47:46Z)
Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文参考訳（メタデータ） (2024-02-27T11:52:49Z)
Secrets of RLHF in Large Language Models Part I: PPO [81.01936993929127]
大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。人間のフィードバックによる強化学習(RLHF)がこの追求を支える重要な技術パラダイムとして出現する。本稿では、RLHFの枠組みを解明し、PPOの内部構造を再評価し、PPOアルゴリズムを構成する部分が政策エージェントの訓練にどのように影響するかを考察する。
論文参考訳（メタデータ） (2023-07-11T01:55:24Z)
PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning [49.92394599459274]
我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
論文参考訳（メタデータ） (2023-06-21T16:26:14Z)
Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文参考訳（メタデータ） (2022-10-02T05:03:38Z)
Design Automation for Fast, Lightweight, and Effective Deep Learning Models: A Survey [53.258091735278875]
本調査では,エッジコンピューティングを対象としたディープラーニングモデルの設計自動化技術について述べる。これは、有効性、軽量性、計算コストの観点からモデルの習熟度を定量化するために一般的に使用される主要なメトリクスの概要と比較を提供する。この調査は、ディープモデル設計自動化技術の最先端の3つのカテゴリをカバーしている。
論文参考訳（メタデータ） (2022-08-22T12:12:43Z)
Resource-Efficient Deep Learning: A Survey on Model-, Arithmetic-, and Implementation-Level Techniques [10.715525749057495]
ディープラーニングは、自動運転車、バーチャルアシスタント、ソーシャルネットワークサービス、ヘルスケアサービス、顔認識など、私たちの日常生活に広く浸透しています。深層ニューラルネットワークは、トレーニングと推論の間にかなりの計算資源を必要とする。本稿では、モデル、算術、実装レベルの技術の観点から、資源効率の高いディープラーニング技術について調査する。
論文参考訳（メタデータ） (2021-12-30T17:00:06Z)
Automated Benchmark-Driven Design and Explanation of Hyperparameter Optimizers [3.729201909920989]
マルチパラメータHPO(MF-HPO)に適用したベンチマーク駆動型自動アルゴリズム設計の原理的アプローチを提案する。まず、一般的なHPOアルゴリズムに限らず、MF-HPO候補の豊富な空間を定式化し、その空間をカバーするフレームワークを示す。得られた設計選択が必要かどうか、あるいはアブレーション分析を行うことで、より単純で単純である設計に置き換えられるか、という課題に挑戦する。
論文参考訳（メタデータ） (2021-11-29T18:02:56Z)
A survey on multi-objective hyperparameter optimization algorithms for Machine Learning [62.997667081978825]
本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
論文参考訳（メタデータ） (2021-11-23T10:22:30Z)
Benchmarking the Accuracy and Robustness of Feedback Alignment Algorithms [1.2183405753834562]
バックプロパゲーションは、その単純さ、効率性、高収束率のために、ディープニューラルネットワークをトレーニングするためのデフォルトのアルゴリズムである。近年,より生物学的に妥当な学習法が提案されている。 BioTorchは、生物学的に動機付けられたニューラルネットワークを作成し、トレーニングし、ベンチマークするソフトウェアフレームワークである。
論文参考訳（メタデータ） (2021-08-30T18:02:55Z)
Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges [5.139260825952818]
本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。 HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
論文参考訳（メタデータ） (2021-07-13T04:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。