論文の概要: Trajectory-Based Multi-Objective Hyperparameter Optimization for Model Retraining
- arxiv url: http://arxiv.org/abs/2405.15303v1
- Date: Fri, 24 May 2024 07:43:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 15:40:48.365101
- Title: Trajectory-Based Multi-Objective Hyperparameter Optimization for Model Retraining
- Title（参考訳）: モデル再構成のための軌道ベース多目的ハイパーパラメータ最適化
- Authors: Wenyu Wang, Zheyi Fan, Szu Hui Ng,
- Abstract要約: 本稿では,新しいトラジェクトリベース多目的ベイズ最適化アルゴリズムを提案する。
我々のアルゴリズムは、より優れたトレードオフとチューニング効率の両面において、最先端のマルチオブジェクトよりも優れています。
- 参考スコア（独自算出の注目度）: 8.598456741786801
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Training machine learning models inherently involves a resource-intensive and noisy iterative learning procedure that allows epoch-wise monitoring of the model performance. However, in multi-objective hyperparameter optimization scenarios, the insights gained from the iterative learning procedure typically remain underutilized. We notice that tracking the model performance across multiple epochs under a hyperparameter setting creates a trajectory in the objective space and that trade-offs along the trajectories are often overlooked despite their potential to offer valuable insights to decision-making for model retraining. Therefore, in this study, we propose to enhance the multi-objective hyperparameter optimization problem by having training epochs as an additional decision variable to incorporate trajectory information. Correspondingly, we present a novel trajectory-based multi-objective Bayesian optimization algorithm characterized by two features: 1) an acquisition function that captures the improvement made by the predictive trajectory of any hyperparameter setting and 2) a multi-objective early stopping mechanism that determines when to terminate the trajectory to maximize epoch efficiency. Numerical experiments on diverse synthetic simulations and hyperparameter tuning benchmarks indicate that our algorithm outperforms the state-of-the-art multi-objective optimizers in both locating better trade-offs and tuning efficiency.
- Abstract（参考訳）: 機械学習モデルのトレーニングには、本質的にリソース集約的でノイズの多い反復的な学習手順が含まれており、モデルパフォーマンスのエポックな監視を可能にする。
しかし、多目的ハイパーパラメータ最適化のシナリオでは、反復的な学習手順から得られる洞察は通常、未利用のままである。
ハイパーパラメータ設定下での複数のエポック間のモデル性能の追跡は、対象空間における軌道を生成し、モデル再トレーニングのための意思決定に有用な洞察を提供する可能性にもかかわらず、軌道に沿ったトレードオフがしばしば見過ごされていることに気付く。
そこで本研究では,学習エポックを付加的な決定変数として用い,軌道情報を組み込んだ多目的ハイパーパラメータ最適化問題を提案する。
それに対応して,2つの特徴を特徴とする新しいトラジェクトリベース多目的ベイズ最適化アルゴリズムを提案する。
1)ハイパーパラメータの設定の予測軌道による改善を捉えた取得機能及び
2)エポック効率を最大化するために軌道をいつ終了させるかを決定する多目的早期停止機構。
多様な合成シミュレーションとハイパーパラメータチューニングベンチマークの数値実験により、我々のアルゴリズムは、より優れたトレードオフとチューニング効率の両面において、最先端の多目的最適化器よりも優れていることが示された。
関連論文リスト
- End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T16:33:35Z) - DiffTOP: Differentiable Trajectory Optimization for Deep Reinforcement and Imitation Learning [19.153788884976656]
本稿では、微分軌道最適化をポリシー表現として利用し、深い強化と模倣学習のためのアクションを生成するDiffTOPを提案する。
15のモデルベースRLタスクと35のシミュレーション学習タスクに高次元画像と点クラウド入力が組み込まれており、DiffTOPは両方の領域における最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2024-02-08T05:26:40Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-12-16T17:13:08Z) - A Survey on Multi-Objective based Parameter Optimization for Deep
Learning [1.3223682837381137]
深層ニューラルネットワークを用いたパラメータ最適化における多目的最適化手法の有効性について検討する。
これら2つの手法を組み合わせて、複数のアプリケーションにおける予測と分析の生成に関する貴重な洞察を提供する。
論文 参考訳（メタデータ） (2023-05-17T07:48:54Z) - Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。
これは経験的ベンチマークでのHPO収束を早くすることを意味する。
論文 参考訳（メタデータ） (2023-05-05T15:33:39Z) - Agent-based Collaborative Random Search for Hyper-parameter Tuning and
Global Function Optimization [0.0]
本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を求めるためのエージェントベース協調手法を提案する。
提案モデルの動作,特に設計パラメータの変化に対して,機械学習およびグローバル関数最適化アプリケーションの両方で検討する。
論文 参考訳（メタデータ） (2023-03-03T21:10:17Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。
ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。
ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
論文 参考訳（メタデータ） (2022-04-09T22:07:34Z) - Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。
レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
論文 参考訳（メタデータ） (2020-08-02T02:56:30Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-06-18T19:11:54Z) - Weighting Is Worth the Wait: Bayesian Optimization with Importance
Sampling [34.67740033646052]
ベイジアン最適化のステート・オブ・ザ・アートランタイムと,さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善した。
評価の複雑さと品質をトレードオフするISのパラメータ化を学習することで、ベイジアン最適化のステート・オブ・ザ・アートランタイムと、さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善します。
論文 参考訳（メタデータ） (2020-02-23T15:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。