論文の概要: Hyperparameter Transfer Across Developer Adjustments
- arxiv url: http://arxiv.org/abs/2010.13117v1
- Date: Sun, 25 Oct 2020 13:35:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 04:23:07.139338
- Title: Hyperparameter Transfer Across Developer Adjustments
- Title（参考訳）: 開発者調整によるハイパーパラメータ転送
- Authors: Danny Stoll, J\"org K.H. Franke, Diane Wagner, Simon Selg, Frank
Hutter
- Abstract要約: 我々は,HT-AA(Hyper parameter transfer across adjusts)という新しい研究フレームワークを提案する。
最も優れたベースラインは、平均して古いHPOと新しいHPOの予算に依存し、転送不要の著名なHPOアルゴリズムよりも1.2--2.6倍高速である。
HPOはML開発において重要なステップであるが、広範な計算資源を必要とするため、このスピードアップは開発サイクルの高速化、コストの低減、環境への影響の低減につながる。
- 参考スコア（独自算出の注目度）: 34.69121532129445
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: After developer adjustments to a machine learning (ML) algorithm, how can the
results of an old hyperparameter optimization (HPO) automatically be used to
speedup a new HPO? This question poses a challenging problem, as developer
adjustments can change which hyperparameter settings perform well, or even the
hyperparameter search space itself. While many approaches exist that leverage
knowledge obtained on previous tasks, so far, knowledge from previous
development steps remains entirely untapped. In this work, we remedy this
situation and propose a new research framework: hyperparameter transfer across
adjustments (HT-AA). To lay a solid foundation for this research framework, we
provide four simple HT-AA baseline algorithms and eight benchmarks changing
various aspects of ML algorithms, their hyperparameter search spaces, and the
neural architectures used. The best baseline, on average and depending on the
budgets for the old and new HPO, reaches a given performance 1.2--2.6x faster
than a prominent HPO algorithm without transfer. As HPO is a crucial step in ML
development but requires extensive computational resources, this speedup would
lead to faster development cycles, lower costs, and reduced environmental
impacts. To make these benefits available to ML developers off-the-shelf and to
facilitate future research on HT-AA, we provide python packages for our
baselines and benchmarks.
- Abstract（参考訳）: 開発者が機械学習(ML)アルゴリズムを調整した後、新しいHPOを高速化するために、古いハイパーパラメータ最適化(HPO)の結果をどのように自動的に利用できるのか?
開発者の調整によって、ハイパーパラメータの設定がうまく機能するか、あるいはハイパーパラメータの検索スペース自体を変更することができるからだ。
これまでのタスクで得られた知識を活用するアプローチは数多く存在するが、これまでの開発手順からの知識は完全に未解決である。
本稿では,この状況を解決し,ht-aa(hyperparameter transfer across adjustments)という新たな研究枠組みを提案する。
本研究フレームワークの基盤となるために,MLアルゴリズムのさまざまな側面,ハイパーパラメータ検索空間,使用するニューラルネットワークの4つのシンプルなHT-AAベースラインアルゴリズムと8つのベンチマークを提供する。
最も優れたベースラインは、平均して古いHPOと新しいHPOの予算に依存し、転送不要の著名なHPOアルゴリズムよりも1.2--2.6倍高速である。
HPOはML開発において重要なステップであるが、広範な計算資源を必要とするため、このスピードアップは開発サイクルの高速化、コスト削減、環境への影響の低減につながる。
これらのメリットをML開発者がオフザシェルフで利用できるようにし、将来のHT-AAの研究を促進するために、ベースラインとベンチマーク用のpythonパッケージを提供しています。
関連論文リスト
- ARLBench: Flexible and Efficient Benchmarking for Hyperparameter Optimization in Reinforcement Learning [42.33815055388433]
ARLBenchは強化学習(RL)におけるハイパーパラメータ最適化(HPO)のベンチマークである
様々なHPOアプローチの比較が可能であり、高い効率で評価できる。
ARLBenchはAutoRLの研究のための効率的で柔軟性があり、未来志向の基盤である。
論文 参考訳（メタデータ） (2024-09-27T15:22:28Z) - PriorBand: Practical Hyperparameter Optimization in the Age of Deep
Learning [49.92394599459274]
我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。
各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
論文 参考訳（メタデータ） (2023-06-21T16:26:14Z) - Two-step hyperparameter optimization method: Accelerating hyperparameter
search by using a fraction of a training dataset [0.15420205433587747]
計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。
我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
論文 参考訳（メタデータ） (2023-02-08T02:38:26Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - Collaborative Intelligent Reflecting Surface Networks with Multi-Agent
Reinforcement Learning [63.83425382922157]
インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。
本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
論文 参考訳（メタデータ） (2022-03-26T20:37:14Z) - Towards Robust and Automatic Hyper-Parameter Tunning [39.04604349338802]
我々は,新しいHPO法を導入し,畳み込みネットワークの中間層の低ランク因子分解を用いて解析応答面を定義する方法について検討する。
我々は,この表面がモデル性能の代理としてどのように振る舞うかを定量化し,オートHyperと呼ぶ信頼領域探索アルゴリズムを用いて解くことができる。
論文 参考訳（メタデータ） (2021-11-28T05:27:34Z) - Hyperparameter Optimization: Foundations, Algorithms, Best Practices and
Open Challenges [5.139260825952818]
本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。
HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
論文 参考訳（メタデータ） (2021-07-13T04:55:47Z) - Phase Retrieval using Expectation Consistent Signal Recovery Algorithm
based on Hypernetwork [73.94896986868146]
位相検索は現代の計算イメージングシステムにおいて重要な要素である。
近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。
我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
論文 参考訳（メタデータ） (2021-01-12T08:36:23Z) - Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。
高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
論文 参考訳（メタデータ） (2020-10-31T08:05:34Z) - Practical and sample efficient zero-shot HPO [8.41866793161234]
利用可能なアプローチの概要と、この問題に対処する2つの新しいテクニックを紹介します。
1つは、サロゲートモデルに基づいて、クエリのためのデータセットと設定のペアを適応的に選択する。
2つ目は、サロゲートモデルの検出、チューニング、テストが問題となる設定のためのもので、HyperBandとサブモジュラー最適化を組み合わせた多要素技術である。
論文 参考訳（メタデータ） (2020-07-27T08:56:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。