論文の概要: Multi-step Planning for Automated Hyperparameter Optimization with OptFormer

• arxiv url: http://arxiv.org/abs/2210.04971v1
• Date: Mon, 10 Oct 2022 19:07:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 14:18:41.582217
• Title: Multi-step Planning for Automated Hyperparameter Optimization with OptFormer
• Title（参考訳）: OptFormerによるハイパーパラメータ自動最適化の多段階計画
• Authors: Lucio M. Dery, Abram L. Friesen, Nando De Freitas, Marc'Aurelio Ranzato, Yutian Chen
• Abstract要約: 私たちは最近提案されたOpsFormerモデルに基づいて、ロールアウトによるプランニングをシンプルかつ効率的にします。 我々は、OptFormerモデル上で多段階計画を行うための様々な戦略を広範囲に探索し、非筋電図HPO戦略の構築におけるその可能性を強調する。
• 参考スコア（独自算出の注目度）: 29.358188163138173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As machine learning permeates more industries and models become more expensive and time consuming to train, the need for efficient automated hyperparameter optimization (HPO) has never been more pressing. Multi-step planning based approaches to hyperparameter optimization promise improved efficiency over myopic alternatives by more effectively balancing out exploration and exploitation. However, the potential of these approaches has not been fully realized due to their technical complexity and computational intensity. In this work, we leverage recent advances in Transformer-based, natural-language-interfaced hyperparameter optimization to circumvent these barriers. We build on top of the recently proposed OptFormer which casts both hyperparameter suggestion and target function approximation as autoregressive generation thus making planning via rollouts simple and efficient. We conduct extensive exploration of different strategies for performing multi-step planning on top of the OptFormer model to highlight its potential for use in constructing non-myopic HPO strategies.
• Abstract（参考訳）: 機械学習がより多くの業界に浸透し、モデルがより高価になり、トレーニングに時間がかかり、自動化されたハイパーパラメータ最適化(HPO)の必要性は、これまで以上に強まっていた。 マルチステップ計画に基づくハイパーパラメータ最適化アプローチは、探索とエクスプロイトをより効果的にバランスさせることで、ミオピック代替よりも効率を向上する。 しかし、これらの手法のポテンシャルは、その技術的複雑さと計算強度のために完全には実現されていない。 本研究では,トランスフォーマーを用いた自然言語インタフェースハイパーパラメータ最適化の最近の進歩を活用し,これらの障壁を回避する。 我々は,ハイパーパラメータ提案と目標関数近似の両方を自己回帰生成としてキャスティングし,ロールアウトによるプランニングをシンプルかつ効率的なものにする,最近提案された optformer の上に構築する。 我々は、OptFormerモデル上で多段階計画を行うための様々な戦略を広範囲に探索し、非筋電図HPO戦略の構築におけるその可能性を強調する。

関連論文リスト

• Hierarchical Preference Optimization: Learning to achieve goals via feasible subgoals prediction [71.81851971324187]
  本研究は階層型強化学習(HRL)の新しいアプローチである階層型優先度最適化(HPO)を導入する。 HPOは、複雑なロボット制御タスクを解く際に、非定常性と非実用的なサブゴール生成の問題に対処する。 挑戦的なロボットナビゲーションと操作タスクの実験はHPOの素晴らしいパフォーマンスを示しており、ベースラインよりも最大35%改善されている。
  論文  参考訳（メタデータ） (2024-11-01T04:58:40Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Supervising the Multi-Fidelity Race of Hyperparameter Configurations [22.408069485293666]
  我々はベイズ最適化手法であるDyHPOを導入し、どのハイパーパラメータ構成を、実現可能な構成のレースでさらに訓練するかを学習する。 大規模実験による最先端ハイパーパラメータ最適化手法に対するDyHPOの顕著な優位性を示す。
  論文  参考訳（メタデータ） (2022-02-20T10:28:02Z)
• Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
  本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。 このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。 我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-27T21:38:53Z)
• Improving Hyperparameter Optimization by Planning Ahead [3.8673630752805432]
  本稿では,モデルに基づく強化学習の文脈内で定義された新しい伝達学習手法を提案する。 本稿では,シンプルなルックアヘッド戦略をポリシーとして用いたモデル予測制御法を提案する。 最新のHPOアルゴリズムと比較した3つのメタデータセット実験により,提案手法が全ベースラインを上回り得ることを示す。
  論文  参考訳（メタデータ） (2021-10-15T11:46:14Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Hyperparameter Optimization via Sequential Uniform Designs [4.56877715768796]
  本稿では,HPOをコンピュータ実験として再設計し,新しい逐次一様設計(SeqUD)戦略を提案する。 提案されたSeqUD戦略はHPOメソッドのベンチマークよりも優れており、既存のAutoMLツールに代わる有望で競争力のある選択肢となる可能性がある。
  論文  参考訳（メタデータ） (2020-09-08T08:55:02Z)
• Automatic Hyper-Parameter Optimization Based on Mapping Discovery from Data to Hyper-Parameters [3.37314595161109]
  本稿では,データから対応するハイパーパラメータへのマッピングに基づく,効率的な自動パラメータ最適化手法を提案する。 提案手法は最先端のアポラッチを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2020-03-03T19:26:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。