論文の概要: Is One Epoch All You Need For Multi-Fidelity Hyperparameter
Optimization?
- arxiv url: http://arxiv.org/abs/2307.15422v2
- Date: Tue, 26 Sep 2023 07:08:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 17:24:56.498528
- Title: Is One Epoch All You Need For Multi-Fidelity Hyperparameter
Optimization?
- Title(参考訳): マルチフィデリティハイパーパラメータ最適化に必要なのはエポックか?
- Authors: Romain Egele, Isabelle Guyon, Yixuan Sun, Prasanna Balaprakash
- Abstract要約: MF-HPO(Multi-fidelity HPO)は、学習過程における中間精度レベルを活用し、早期に低性能モデルを捨てる。
様々な代表的MF-HPO法を,古典的ベンチマークデータに基づく単純なベースラインと比較した。
このベースラインは、計算量を大幅に減らしながら、同等の結果を得た。
- 参考スコア(独自算出の注目度): 17.21160278797221
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperparameter optimization (HPO) is crucial for fine-tuning machine learning
models but can be computationally expensive. To reduce costs, Multi-fidelity
HPO (MF-HPO) leverages intermediate accuracy levels in the learning process and
discards low-performing models early on. We compared various representative
MF-HPO methods against a simple baseline on classical benchmark data. The
baseline involved discarding all models except the Top-K after training for
only one epoch, followed by further training to select the best model.
Surprisingly, this baseline achieved similar results to its counterparts, while
requiring an order of magnitude less computation. Upon analyzing the learning
curves of the benchmark data, we observed a few dominant learning curves, which
explained the success of our baseline. This suggests that researchers should
(1) always use the suggested baseline in benchmarks and (2) broaden the
diversity of MF-HPO benchmarks to include more complex cases.
- Abstract(参考訳): ハイパーパラメータ最適化(HPO)は、微調整機械学習モデルには不可欠だが、計算コストが高い。
コスト削減のため、MF-HPO(Multi-fidelity HPO)は学習プロセスの中間精度レベルを活用し、早期に低性能モデルを捨てる。
様々な代表的MF-HPO法を,古典的ベンチマークデータに基づく単純なベースラインと比較した。
ベースラインは、訓練後1時間のみトップK以外の全てのモデルを廃棄し、その後、最高のモデルを選択するためのさらなる訓練が行われた。
驚くべきことに、このベースラインは同等の結果を得たが、計算量は桁違いに減った。
ベンチマークデータの学習曲線を解析すると,いくつかの支配的な学習曲線が観察され,ベースラインの成功が説明された。
これは、研究者が(1)ベンチマークで推奨されるベースラインを常に使用し、(2)より複雑なケースを含むためにmf-hpoベンチマークの多様性を広げるべきであることを示唆している。
関連論文リスト
- Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。
我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。
これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
論文 参考訳(メタデータ) (2024-03-01T15:14:47Z) - Stabilizing Subject Transfer in EEG Classification with Divergence
Estimation [17.924276728038304]
脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。
理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。
我々は、これらの関係を2段階で強制する正規化罰則を設計する。
論文 参考訳(メタデータ) (2023-10-12T23:06:52Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳(メタデータ) (2023-09-20T10:31:17Z) - Finding the SWEET Spot: Analysis and Improvement of Adaptive Inference
in Low Resource Settings [6.463202903076821]
トレーニングデータに制限がある場合、適応推論の2つの主要なアプローチであるEarly-ExitとMulti-Modelを比較した。
Early-Exitは、マルチモデルアプローチのオーバーヘッドのために、より高速なトレードオフを提供する。
本稿では,SWEETを提案する。SWEETは,各分類器に独自のモデル重みの集合を割り当てる初期出力微調整法である。
論文 参考訳(メタデータ) (2023-06-04T09:16:39Z) - Direct Preference Optimization: Your Language Model is Secretly a Reward
Model [126.78737228677025]
本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。
DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。
我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-29T17:57:46Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - RRHF: Rank Responses to Align Language Models with Human Feedback
without tears [69.68672043223249]
InstructGPTは、SFT(Supervised Fine-Tuning)、報酬モデルトレーニング、PPO(Proximal Policy Optimization)など、いくつかの段階を通じてRLHFを実装している。
本稿では,条件付き確率の対数を用いて,異なるソースからのサンプル応答をスコアするRRHFという新しい学習パラダイムを提案する。
我々は、Helpful and Harmlessデータセット上でRRHFを評価し、報酬モデルスコアと人間ラベルによるPPOと同等のアライメント性能を示す。
論文 参考訳(メタデータ) (2023-04-11T15:53:40Z) - Two-step hyperparameter optimization method: Accelerating hyperparameter
search by using a fraction of a training dataset [0.15420205433587747]
計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。
我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
論文 参考訳(メタデータ) (2023-02-08T02:38:26Z) - FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。
我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
論文 参考訳(メタデータ) (2022-06-08T15:29:10Z) - Multi-objective Asynchronous Successive Halving [10.632606255280649]
本稿では,非同期半減期 (ASHA) を多目的 (MO) 設定に拡張するアルゴリズムを提案する。
実験分析の結果,MO ASHAはMO HPOを大規模に実行可能であることがわかった。
我々のアルゴリズムは、この地域における将来の研究の新たなベースラインを確立する。
論文 参考訳(メタデータ) (2021-06-23T19:39:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。