論文の概要: A Trajectory-Based Bayesian Approach to Multi-Objective Hyperparameter Optimization with Epoch-Aware Trade-Offs

• arxiv url: http://arxiv.org/abs/2405.15303v2
• Date: Wed, 21 May 2025 15:52:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:56.700124
• Title: A Trajectory-Based Bayesian Approach to Multi-Objective Hyperparameter Optimization with Epoch-Aware Trade-Offs
• Title（参考訳）: Epoch-Aware Trade-Offsを用いた多目的ハイパーパラメータ最適化のための軌道ベースベイズアプローチ
• Authors: Wenyu Wang, Zheyi Fan, Szu Hui Ng,
• Abstract要約: 機械学習モデルのトレーニングには、本質的にリソース集約的でノイズの多い反復的な学習手順が含まれる。 本稿では,2つの特徴を特徴とするトラジェクトリベース多目的ベイズ最適化アルゴリズムを提案する。 実験により,提案アルゴリズムは,チューニング効率を向上しつつ,望ましいトレードオフを効果的に識別できることが示されている。
• 参考スコア（独自算出の注目度）: 8.598456741786801
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Training machine learning models inherently involves a resource-intensive and noisy iterative learning procedure that allows epoch-wise monitoring of the model performance. However, the insights gained from the iterative learning procedure typically remain underutilized in multi-objective hyperparameter optimization scenarios. Despite the limited research in this area, existing methods commonly identify the trade-offs only at the end of model training, overlooking the fact that trade-offs can emerge at earlier epochs in cases such as overfitting. To bridge this gap, we propose an enhanced multi-objective hyperparameter optimization problem that treats the number of training epochs as a decision variable, rather than merely an auxiliary parameter, to account for trade-offs at an earlier training stage. To solve this problem and accommodate its iterative learning, we then present a trajectory-based multi-objective Bayesian optimization algorithm characterized by two features: 1) a novel acquisition function that captures the improvement along the predictive trajectory of model performances over epochs for any hyperparameter setting and 2) a multi-objective early stopping mechanism that determines when to terminate the training to maximize epoch efficiency. Experiments on synthetic simulations and hyperparameter tuning benchmarks demonstrate that our algorithm can effectively identify the desirable trade-offs while improving tuning efficiency.
• Abstract（参考訳）: 機械学習モデルのトレーニングには、本質的にリソース集約的でノイズの多い反復的な学習手順が含まれており、モデルパフォーマンスのエポックな監視を可能にする。 しかし、反復学習法から得られる知見は、通常、多目的ハイパーパラメータ最適化のシナリオでは未利用のままである。 この領域での限られた研究にもかかわらず、既存の手法はモデルトレーニングの終わりにのみトレードオフを識別し、オーバーフィッティングのような場合の初期の時代においてトレードオフが出現するという事実を見越す。 このギャップを埋めるため,早期の訓練段階におけるトレードオフを考慮するため,訓練エポックの数を単なる補助パラメータではなく決定変数として扱う多目的ハイパーパラメータ最適化問題を提案する。 この問題を解決し、反復学習に対応するため、2つの特徴を特徴とする軌跡に基づく多目的ベイズ最適化アルゴリズムを提案する。 1 ハイパーパラメータ設定のエポックよりもモデル性能の予測軌道に沿った改善を捉えた新規な取得機能及び 2)エポック効率を最大化するためにトレーニングをいつ終了するかを決定する多目的早期停止機構。 合成シミュレーションとハイパーパラメータチューニングベンチマークの実験により,提案アルゴリズムは,チューニング効率を向上しつつ,望ましいトレードオフを効果的に識別できることが実証された。

関連論文リスト

• Model Fusion through Bayesian Optimization in Language Model Fine-Tuning [16.86812534268461]
  下流タスクのための微調整された事前学習モデルは、様々な領域にまたがる適応性と信頼性で広く採用されているテクニックである。 本稿では,多目的ベイズ最適化により,所望の計量と損失の両方を最適化する新しいモデル融合手法を提案する。 各種下流タスクを対象とした実験では,ベイズ最適化誘導方式による大幅な性能向上が見られた。
  論文  参考訳（メタデータ） (2024-11-11T04:36:58Z)
• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• DiffTORI: Differentiable Trajectory Optimization for Deep Reinforcement and Imitation Learning [19.84386060857712]
  本稿では、微分軌道最適化をポリシー表現として活用し、深層強化と模倣学習のためのアクションを生成するDiffTORIを提案する。 15のモデルベースRLタスクと35の模倣学習タスクに高次元画像と点クラウド入力があり、DiffTORIはどちらのドメインでも最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-02-08T05:26:40Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• A Survey on Multi-Objective based Parameter Optimization for Deep Learning [1.3223682837381137]
  深層ニューラルネットワークを用いたパラメータ最適化における多目的最適化手法の有効性について検討する。 これら2つの手法を組み合わせて、複数のアプリケーションにおける予測と分析の生成に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-05-17T07:48:54Z)
• Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
  本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。 これは経験的ベンチマークでのHPO収束を早くすることを意味する。
  論文  参考訳（メタデータ） (2023-05-05T15:33:39Z)
• Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
  データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。 ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。 ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
  論文  参考訳（メタデータ） (2022-04-09T22:07:34Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。