Fugu-MT 論文翻訳(概要): In-Context Freeze-Thaw Bayesian Optimization for Hyperparameter Optimization

論文の概要: In-Context Freeze-Thaw Bayesian Optimization for Hyperparameter Optimization

arxiv url: http://arxiv.org/abs/2404.16795v1
Date: Thu, 25 Apr 2024 17:40:52 GMT
ステータス: 処理完了
システム内更新日: 2024-04-26 12:51:20.212536
Title: In-Context Freeze-Thaw Bayesian Optimization for Hyperparameter Optimization
Title（参考訳）: ハイパーパラメータ最適化のためのIn-Context Freeze-Thaw Bayesian Optimization
Authors: Herilalaina Rakotoarison, Steven Adriaensen, Neeratyoy Mallik, Samir Garibov, Edward Bergman, Frank Hutter,
Abstract要約: フリーズソー型BOの新しいサロゲートであるFT-PFNを提案する。 FT-PFN(FT-PFN)は、トランスフォーマーのテキスト内学習能力を活用する事前データ対応ネットワーク(PFN)である。新たな取得機構 (I-random) と組み合わせることで,ifBO法により新しい最先端性能が得られることを示す。
参考スコア（独自算出の注目度）: 35.74766507227412
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the increasing computational costs associated with deep learning, automated hyperparameter optimization methods, strongly relying on black-box Bayesian optimization (BO), face limitations. Freeze-thaw BO offers a promising grey-box alternative, strategically allocating scarce resources incrementally to different configurations. However, the frequent surrogate model updates inherent to this approach pose challenges for existing methods, requiring retraining or fine-tuning their neural network surrogates online, introducing overhead, instability, and hyper-hyperparameters. In this work, we propose FT-PFN, a novel surrogate for Freeze-thaw style BO. FT-PFN is a prior-data fitted network (PFN) that leverages the transformers' in-context learning ability to efficiently and reliably do Bayesian learning curve extrapolation in a single forward pass. Our empirical analysis across three benchmark suites shows that the predictions made by FT-PFN are more accurate and 10-100 times faster than those of the deep Gaussian process and deep ensemble surrogates used in previous work. Furthermore, we show that, when combined with our novel acquisition mechanism (MFPI-random), the resulting in-context freeze-thaw BO method (ifBO), yields new state-of-the-art performance in the same three families of deep learning HPO benchmarks considered in prior work.
Abstract（参考訳）: 深層学習に伴う計算コストの増大に伴い、自動ハイパーパラメータ最適化法はブラックボックスベイズ最適化(BO)に強く依存しており、限界に直面している。 Freeze-thaw BOは有望なグレーボックスの代替を提供し、戦略的に不足するリソースを異なる構成に段階的に割り当てる。しかし、このアプローチに固有の頻繁なサロゲートモデル更新は、既存の手法に課題をもたらし、ニューラルネットワークのサロゲートをオンラインで再トレーニングまたは微調整し、オーバーヘッド、不安定性、ハイパーハイパーパラメータを導入する。本研究では,フリーズソースタイルBOのための新しいサロゲートであるFT-PFNを提案する。 FT-PFN(FT-PFN)は、トランスフォーマーのコンテキスト内学習能力を利用して、ベイズ学習曲線外挿を1つの前方通過で効率よく確実に行う、事前データ付きネットワーク(PFN)である。 3つのベンチマークスイートを比較検討した結果,FT-PFN による予測は,ガウス過程の深部と深部アンサンブルサロゲートの10～100倍の精度で高速であることがわかった。さらに,本手法とMFPI-randomの併用により,従来検討されていた3種類の深層学習HPOベンチマークにおいて,実環境における凍結ソーBO法(ifBO)が新たに実現されたことを示す。

関連論文リスト

Bayesian Optimization for Hyperparameters Tuning in Neural Networks [0.0]
ベイズ最適化 (Bayesian Optimization) は、連続的な入力と限られた評価予算を持つブラックボックス関数に適した微分自由大域最適化手法である。本研究では,畳み込みニューラルネットワーク(CNN)の強化を目的としたニューラルネットワークのハイパーパラメータチューニングにおけるBOの適用について検討する。実験結果から,BOは探索と利用のバランスを効果的に保ち,CNNアーキテクチャの最適設定に向けて急速に収束することが明らかとなった。このアプローチは、ニューラルネットワークチューニングの自動化におけるBOの可能性を強調し、機械学習パイプラインの精度と計算効率の改善に寄与する。
論文参考訳（メタデータ） (2024-10-29T09:23:24Z)
Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
論文参考訳（メタデータ） (2024-05-28T07:38:39Z)
Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文参考訳（メタデータ） (2024-02-05T02:54:50Z)
Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2023-06-12T03:35:45Z)
Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
論文参考訳（メタデータ） (2022-10-13T09:01:58Z)
Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文参考訳（メタデータ） (2022-05-26T12:51:32Z)
Deep-Ensemble-Based Uncertainty Quantification in Spatiotemporal Graph Neural Networks for Traffic Forecasting [2.088376060651494]
本稿では,短期交通予測のための最先端手法である拡散畳み込みリカレントニューラルネットワーク(DCRNN)に注目した。我々はDCRNNの不確実性を定量化するスケーラブルなディープアンサンブル手法を開発した。我々の汎用的かつスケーラブルなアプローチは、現在最先端のベイズ的手法や、多くの一般的な頻繁な手法よりも優れていることを示す。
論文参考訳（メタデータ） (2022-04-04T16:10:55Z)
Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文参考訳（メタデータ） (2021-02-15T19:36:18Z)
Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文参考訳（メタデータ） (2021-01-17T04:55:30Z)
Fusion-Catalyzed Pruning for Optimizing Deep Learning on Intelligent Edge Devices [9.313154178072049]
本稿では,ニューラルネットワークの高速化を目的とした,FuPrunerと呼ばれる新しい核融合パラメトリックプルーニング手法を提案する。モデルに等価に変換するアグレッシブ・フュージョン法を導入し、プルーニングの最適化空間を拡張した。 FuPrunerは、フュージョンとプルーニングを制御する最適化オプションを提供する。
論文参考訳（メタデータ） (2020-10-30T10:10:08Z)
Federated Bayesian Optimization via Thompson Sampling [33.087439644066876]
本稿では,FBOとFLの主な課題を原則的に克服するフェデレートトンプソンサンプリング(FTS)を提案する。通信効率, 計算効率, 実用性能の観点から, FTS の有効性を実証的に実証した。
論文参考訳（メタデータ） (2020-10-20T09:42:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。