論文の概要: Bayesian Optimization Over Iterative Learners with Structured Responses:
A Budget-aware Planning Approach
- arxiv url: http://arxiv.org/abs/2206.12708v1
- Date: Sat, 25 Jun 2022 18:44:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-28 13:21:10.995973
- Title: Bayesian Optimization Over Iterative Learners with Structured Responses:
A Budget-aware Planning Approach
- Title（参考訳）: 構造的応答をもつ反復学習者に対するベイズ最適化:予算を考慮した計画手法
- Authors: Syrine Belakaria, Rishit Sheth, Janardhan Rao Doppa, Nicolo Fusi
- Abstract要約: 本稿では,HPO 問題を解決するため,Budget-Aware Planning for Iterative Learningers (BAPI) と呼ばれる新しい手法を提案する。
反復学習者のための多様なHPOベンチマークの実験では、ほとんどの場合、BAPIは最先端のベースラインよりも優れた性能を示している。
- 参考スコア（独自算出の注目度）: 31.918476422203412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rising growth of deep neural networks (DNNs) and datasets in size
motivates the need for efficient solutions for simultaneous model selection and
training. Many methods for hyperparameter optimization (HPO) of iterative
learners including DNNs attempt to solve this problem by querying and learning
a response surface while searching for the optimum of that surface. However,
many of these methods make myopic queries, do not consider prior knowledge
about the response structure, and/or perform biased cost-aware search, all of
which exacerbate identifying the best-performing model when a total cost budget
is specified. This paper proposes a novel approach referred to as Budget-Aware
Planning for Iterative Learners (BAPI) to solve HPO problems under a
constrained cost budget. BAPI is an efficient non-myopic Bayesian optimization
solution that accounts for the budget and leverages the prior knowledge about
the objective function and cost function to select better configurations and to
take more informed decisions during the evaluation (training). Experiments on
diverse HPO benchmarks for iterative learners show that BAPI performs better
than state-of-the-art baselines in most of the cases.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)とデータセットの増大は、モデル選択とトレーニングを同時に行うための効率的なソリューションの必要性を動機付けている。
DNNを含む反復学習者のハイパーパラメータ最適化(HPO)のための多くの手法は、その表面の最適性を探索しながら応答面をクエリして学習することでこの問題を解決しようとする。
しかし、これらの手法の多くは、筋電図クエリを作成し、応答構造に関する事前の知識を考慮せず、また/またはバイアス付きコスト認識探索を行う。
本稿では,HPOの問題を解決するため,BAPI(Budget-Aware Planning for Iterative Learners)と呼ばれる新しい手法を提案する。
BAPIは、予算を考慮し、目的関数とコスト関数に関する事前の知識を活用して、より良い構成を選択し、評価(トレーニング)中により情報的な決定を下す、効率的な非神秘的ベイズ最適化ソリューションである。
反復学習者のための多様なHPOベンチマークの実験では、ほとんどの場合、BAPIは最先端のベースラインよりも優れた性能を示している。
関連論文リスト
- Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。
このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
論文 参考訳（メタデータ） (2024-05-28T07:38:39Z) - Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。
提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
論文 参考訳（メタデータ） (2024-05-07T17:44:54Z) - Evolve Cost-aware Acquisition Functions Using Large Language Models [11.209139558885035]
本稿では,大規模言語モデル (LLM) と進化計算 (EC) を統合する新しいフレームワークであるEvolCAFを紹介する。
設計されたコストアウェアAFは、過去のデータ、サロゲートモデル、予算の詳細から利用可能な情報の利用を最大化する。
EIpu と EI-cool の手法は, 人的専門家が設計した手法と比較して, 様々なタスクにまたがる顕著な効率性と一般化を示す。
論文 参考訳（メタデータ） (2024-04-25T12:19:18Z) - $\mathbf{(N,K)}$-Puzzle: A Cost-Efficient Testbed for Benchmarking
Reinforcement Learning Algorithms in Generative Language Model [50.636423457653066]
我々は24-Puzzleの一般化版を提示する:$(N,K)$-Puzzle。
我々は、アイデンティティポリシー最適化(IPO)やダイレクトポリシー最適化(DPO)といった新しいアプローチとともに、PPO(Proximal Policy Optimization)のような確立されたRLアルゴリズムの有効性を評価する。
論文 参考訳（メタデータ） (2024-03-11T22:24:14Z) - Reinforcement Learning from Human Feedback with Active Queries [67.27150911254155]
現在の強化学習アプローチは、多くの場合、大量の人間による嗜好データを必要とする。
本稿では,能動学習の成功に触発されたクエリ効率の高いRLHF手法を提案する。
実験の結果,ADPOは人間の好みに対するクエリの約半分しか作成していないが,最先端のDPO法の性能と一致していることがわかった。
論文 参考訳（メタデータ） (2024-02-14T18:58:40Z) - EERO: Early Exit with Reject Option for Efficient Classification with
limited budget [0.0]
本稿では,早期退避の問題をリジェクションオプション付き複数分類器を使用する問題に翻訳する新しい手法であるEEROを提案する。
我々は、固定予算を保証するために指数重の集約を用いて、異なる頭部で出口の確率を調整する。
Cifar と ImageNet のデータセット上で ResNet-18 モデルと ConvNext アーキテクチャを用いて実験を行った結果,提案手法は予算配分を効果的に管理するだけでなく,過度なシナリオの正確性も向上することが示された。
論文 参考訳（メタデータ） (2024-02-06T07:50:27Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Dynamic Multi-objective Ensemble of Acquisition Functions in Batch
Bayesian Optimization [1.1602089225841632]
獲得関数は最適化プロセスにおいて重要な役割を果たす。
3つの取得関数は、その現在のパフォーマンスと過去のパフォーマンスに基づいて、セットから動的に選択される。
進化的多目的アルゴリズムを用いて、そのようなMOPを最適化し、非支配的な解の集合を得ることができる。
論文 参考訳（メタデータ） (2022-06-22T14:09:18Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳（メタデータ） (2021-01-17T04:55:30Z) - A Survey on Advancing the DBMS Query Optimizer: Cardinality Estimation,
Cost Model, and Plan Enumeration [17.75042918159419]
コストベースのアルゴリズムは、現在のほとんどのデータベースシステムで採用されている。
コストモデル、カーディナリティでは、オペレータによる数字の数は重要な役割を果たします。
基数推定の不正確さ、コストの誤差、および巨大な計画空間モデルにより、アルゴリズムは複雑なクエリに対して妥当な時間で最適な実行計画を見つけることができない。
論文 参考訳（メタデータ） (2021-01-05T13:47:45Z) - FlexiBO: A Decoupled Cost-Aware Multi-Objective Optimization Approach
for Deep Neural Networks [4.596221278839825]
我々は,FlexiBO(Flexible Multi-Objective Bayesian Optimization)と呼ばれる新しい多目的最適化アルゴリズムを開発し,この問題に対処する。
我々は、画像認識、自然言語処理(NLP)、音声からテキストへの翻訳のための7つの最先端DNN上でFlexiBOを評価する。
論文 参考訳（メタデータ） (2020-01-18T03:26:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。