論文の概要: Cost-Sensitive Freeze-thaw Bayesian Optimization for Efficient Hyperparameter Tuning

• arxiv url: http://arxiv.org/abs/2510.21379v1
• Date: Fri, 24 Oct 2025 12:03:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 06:57:23.418896
• Title: Cost-Sensitive Freeze-thaw Bayesian Optimization for Efficient Hyperparameter Tuning
• Title（参考訳）: 効率的なハイパーパラメータチューニングのためのコスト感受性フリーズソーベイズ最適化
• Authors: Dong Bok Lee, Aoxuan Silvia Zhang, Byungjoo Kim, Junhyeon Park, Steven Adriaensen, Juho Lee, Sung Ju Hwang, Hae Beom Lee,
• Abstract要約: コストと性能のトレードオフを記述する関数であるフリーズソーフレームワークで,エフェユーティリティを導入する。 我々は,提案アルゴリズムを確立されたマルチ忠実HPOベンチマークで検証し,従来のフリーズソーBOやTransfer-BOベースラインよりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 51.6191275658441
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we address the problem of \emph{cost-sensitive} hyperparameter optimization (HPO) built upon freeze-thaw Bayesian optimization (BO). Specifically, we assume a scenario where users want to early-stop the HPO process when the expected performance improvement is not satisfactory with respect to the additional computational cost. Motivated by this scenario, we introduce \emph{utility} in the freeze-thaw framework, a function describing the trade-off between the cost and performance that can be estimated from the user's preference data. This utility function, combined with our novel acquisition function and stopping criterion, allows us to dynamically continue training the configuration that we expect to maximally improve the utility in the future, and also automatically stop the HPO process around the maximum utility. Further, we improve the sample efficiency of existing freeze-thaw methods with transfer learning to develop a specialized surrogate model for the cost-sensitive HPO problem. We validate our algorithm on established multi-fidelity HPO benchmarks and show that it outperforms all the previous freeze-thaw BO and transfer-BO baselines we consider, while achieving a significantly better trade-off between the cost and performance. Our code is publicly available at https://github.com/db-Lee/CFBO.
• Abstract（参考訳）: 本稿では,凍結ソーベイズ最適化(BO)に基づく超パラメータ最適化(HPO)の問題に対処する。 具体的には,計算コストの増大に対して期待される性能改善が不十分な場合,ユーザがHPOプロセスの早期停止を希望するシナリオを仮定する。 このシナリオを動機として,ユーザの好みデータから見積もることができるコストとパフォーマンスのトレードオフを記述する関数である,フリーズソーフレームワークに \emph{utility} を導入する。 このユーティリティ関数と,新たな取得機能と基準の停止とを組み合わせることで,将来最大化を期待する構成のトレーニングを動的に継続し,HPOプロセスの最大化を自動停止することが可能になる。 さらに,移動学習による既存の凍結ソー法のサンプル効率を改善し,コスト感受性HPO問題に対する特別なサロゲートモデルを開発する。 我々は,提案アルゴリズムを確立されたマルチ忠実HPOベンチマークで検証し,従来のフリーズソーBOとトランスファーBOベースラインの全てを上回る性能を示し,コストと性能のトレードオフを著しく改善した。 私たちのコードはhttps://github.com/db-Lee/CFBO.comで公開されています。

関連論文リスト

• Cost-aware Stopping for Bayesian Optimization [46.95172329282389]
  本稿では,様々な評価コストに適応し,チューニングが不要なベイズ最適化のためのコスト対応停止則を提案する。 我々は,最先端の取得関数と組み合わせた場合,停止規則によって得られる期待累積評価コストを拘束する理論的な保証を証明した。
  論文  参考訳（メタデータ） (2025-07-16T17:54:14Z)
• Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
  各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。 このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-05-28T07:38:39Z)
• In-Context Freeze-Thaw Bayesian Optimization for Hyperparameter Optimization [35.74766507227412]
  フリーズソー型BOの新しいサロゲートであるFT-PFNを提案する。 FT-PFN(FT-PFN)は、トランスフォーマーのテキスト内学習能力を活用する事前データ対応ネットワーク(PFN)である。 新たな取得機構 (I-random) と組み合わせることで,ifBO法により新しい最先端性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-04-25T17:40:52Z)
• A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
  本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。 我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2022-12-08T18:56:37Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
  実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。 提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
  論文  参考訳（メタデータ） (2021-01-17T04:55:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。