論文の概要: Is One Epoch All You Need For Multi-Fidelity Hyperparameter Optimization?

• arxiv url: http://arxiv.org/abs/2307.15422v2
• Date: Tue, 26 Sep 2023 07:08:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 17:24:56.498528
• Title: Is One Epoch All You Need For Multi-Fidelity Hyperparameter Optimization?
• Title（参考訳）: マルチフィデリティハイパーパラメータ最適化に必要なのはエポックか?
• Authors: Romain Egele, Isabelle Guyon, Yixuan Sun, Prasanna Balaprakash
• Abstract要約: MF-HPO(Multi-fidelity HPO)は、学習過程における中間精度レベルを活用し、早期に低性能モデルを捨てる。 様々な代表的MF-HPO法を,古典的ベンチマークデータに基づく単純なベースラインと比較した。 このベースラインは、計算量を大幅に減らしながら、同等の結果を得た。
• 参考スコア（独自算出の注目度）: 17.21160278797221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter optimization (HPO) is crucial for fine-tuning machine learning models but can be computationally expensive. To reduce costs, Multi-fidelity HPO (MF-HPO) leverages intermediate accuracy levels in the learning process and discards low-performing models early on. We compared various representative MF-HPO methods against a simple baseline on classical benchmark data. The baseline involved discarding all models except the Top-K after training for only one epoch, followed by further training to select the best model. Surprisingly, this baseline achieved similar results to its counterparts, while requiring an order of magnitude less computation. Upon analyzing the learning curves of the benchmark data, we observed a few dominant learning curves, which explained the success of our baseline. This suggests that researchers should (1) always use the suggested baseline in benchmarks and (2) broaden the diversity of MF-HPO benchmarks to include more complex cases.
• Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は、微調整機械学習モデルには不可欠だが、計算コストが高い。 コスト削減のため、MF-HPO(Multi-fidelity HPO)は学習プロセスの中間精度レベルを活用し、早期に低性能モデルを捨てる。 様々な代表的MF-HPO法を,古典的ベンチマークデータに基づく単純なベースラインと比較した。 ベースラインは、訓練後1時間のみトップK以外の全てのモデルを廃棄し、その後、最高のモデルを選択するためのさらなる訓練が行われた。 驚くべきことに、このベースラインは同等の結果を得たが、計算量は桁違いに減った。 ベンチマークデータの学習曲線を解析すると,いくつかの支配的な学習曲線が観察され,ベースラインの成功が説明された。 これは、研究者が(1)ベンチマークで推奨されるベースラインを常に使用し、(2)より複雑なケースを含むためにmf-hpoベンチマークの多様性を広げるべきであることを示唆している。

関連論文リスト

• Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback [64.67540769692074]
  人間のフィードバックからの強化学習など、アライメント技術で微調整された大規模言語モデル(LLM)は、これまでで最も有能なAIシステムの開発に役立っている。 マージンマッチング選好最適化(MMPO)と呼ばれる手法を導入し、相対的な品質マージンを最適化し、LLMポリシーと報酬モデルを改善する。 人間とAIの両方のフィードバックデータによる実験によると、MMPOはMT-benchやRewardBenchといった一般的なベンチマークにおいて、ベースラインメソッドよりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:56:11Z)
• Preference Learning Algorithms Do Not Learn Preference Rankings [62.335733662381884]
  選好学習は、好ましくない出力よりも、好ましくない出力により高い確率を割り当てるようにモデルを訓練する、という従来の知恵を考察する。 多くの最先端の選好調整モデルでは、一般的な選好データセットでは60%未満のランキング精度が得られている。
  論文  参考訳（メタデータ） (2024-05-29T21:29:44Z)
• From $r$ to $Q^*$: Your Language Model is Secretly a Q-Function [50.812404038684505]
  我々は,ベルマン方程式を満たす一般逆Q-ラーニングアルゴリズムとして,トークンレベルMDPのDPOを導出できることを示す。 本稿では,マルチターン対話における情報活用,推論,エージェント応用,マルチモデルシステムのエンドツーエンドトレーニングなど,我々の研究の応用について論じる。
  論文  参考訳（メタデータ） (2024-04-18T17:37:02Z)
• Stabilizing Subject Transfer in EEG Classification with Divergence Estimation [17.924276728038304]
  脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。 理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。 我々は、これらの関係を2段階で強制する正規化罰則を設計する。
  論文  参考訳（メタデータ） (2023-10-12T23:06:52Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Finding the SWEET Spot: Analysis and Improvement of Adaptive Inference in Low Resource Settings [6.463202903076821]
  トレーニングデータに制限がある場合、適応推論の2つの主要なアプローチであるEarly-ExitとMulti-Modelを比較した。 Early-Exitは、マルチモデルアプローチのオーバーヘッドのために、より高速なトレードオフを提供する。 本稿では,SWEETを提案する。SWEETは,各分類器に独自のモデル重みの集合を割り当てる初期出力微調整法である。
  論文  参考訳（メタデータ） (2023-06-04T09:16:39Z)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
  本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。 DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。 我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:57:46Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Two-step hyperparameter optimization method: Accelerating hyperparameter search by using a fraction of a training dataset [0.15420205433587747]
  計算要求と待ち時間を抑制するための戦略的ソリューションとして,2段階のHPO法を提案する。 我々は最近の2段階HPO法のエアロゾル活性化のためのニューラルネットワークエミュレータ開発への応用について述べる。
  論文  参考訳（メタデータ） (2023-02-08T02:38:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。