論文の概要: Evolve Cost-aware Acquisition Functions Using Large Language Models
- arxiv url: http://arxiv.org/abs/2404.16906v2
- Date: Thu, 13 Jun 2024 06:53:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 23:06:20.384909
- Title: Evolve Cost-aware Acquisition Functions Using Large Language Models
- Title（参考訳）: 大規模言語モデルを用いたコスト認識獲得機能の開発
- Authors: Yiming Yao, Fei Liu, Ji Cheng, Qingfu Zhang,
- Abstract要約: 本稿では,大規模言語モデル (LLM) と進化計算 (EC) を統合する新しいフレームワークであるEvolCAFを紹介する。
設計されたコストアウェアAFは、過去のデータ、サロゲートモデル、予算の詳細から利用可能な情報の利用を最大化する。
EIpu と EI-cool の手法は, 人的専門家が設計した手法と比較して, 様々なタスクにまたがる顕著な効率性と一般化を示す。
- 参考スコア（独自算出の注目度）: 11.209139558885035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many real-world optimization scenarios involve expensive evaluation with unknown and heterogeneous costs. Cost-aware Bayesian optimization stands out as a prominent solution in addressing these challenges. To approach the global optimum within a limited budget in a cost-efficient manner, the design of cost-aware acquisition functions (AFs) becomes a crucial step. However, traditional manual design paradigm typically requires extensive domain knowledge and involves a labor-intensive trial-and-error process. This paper introduces EvolCAF, a novel framework that integrates large language models (LLMs) with evolutionary computation (EC) to automatically design cost-aware AFs. Leveraging the crossover and mutation in the algorithmic space, EvolCAF offers a novel design paradigm, significantly reduces the reliance on domain expertise and model training. The designed cost-aware AF maximizes the utilization of available information from historical data, surrogate models and budget details. It introduces novel ideas not previously explored in the existing literature on acquisition function design, allowing for clear interpretations to provide insights into its behavior and decision-making process. In comparison to the well-known EIpu and EI-cool methods designed by human experts, our approach showcases remarkable efficiency and generalization across various tasks, including 12 synthetic problems and 3 real-world hyperparameter tuning test sets.
- Abstract（参考訳）: 多くの実世界の最適化シナリオは、未知で不均一なコストによる高価な評価を含む。
コストを意識したベイズ最適化は、これらの課題に対処する際、目立った解決策である。
コスト効率のよい予算でグローバルな最適化に近づくためには、コスト対応獲得機能(AF)の設計が重要なステップとなる。
しかし、従来の手動設計パラダイムは、通常、広範なドメイン知識を必要とし、労働集約的な試行錯誤プロセスを伴う。
本稿では,大規模言語モデル (LLM) と進化計算 (EC) を統合する新しいフレームワークであるEvolCAFを紹介する。
EvolCAFはアルゴリズム空間におけるクロスオーバーと突然変異を活用し、新しい設計パラダイムを提供し、ドメインの専門知識とモデルトレーニングへの依存を著しく低減する。
設計されたコストアウェアAFは、過去のデータ、サロゲートモデル、予算の詳細から利用可能な情報の利用を最大化する。
獲得関数設計に関する既存の文献でこれまで検討されていなかった新しいアイデアを導入し、明確な解釈により、その振る舞いと意思決定プロセスに関する洞察を提供する。
人的専門家が設計した有名なEIpuとEI-coolの手法と比較して,12の合成問題と3つの実世界のハイパーパラメータチューニングテストセットを含む,様々なタスクにおける顕著な効率性と一般化を示す。
関連論文リスト
- Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。
このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
論文 参考訳（メタデータ） (2024-05-28T07:38:39Z) - Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。
本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。
提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
論文 参考訳（メタデータ） (2024-03-20T00:41:12Z) - An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。
アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。
本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
論文 参考訳（メタデータ） (2024-01-12T16:56:54Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-12-16T17:13:08Z) - Landscape-Sketch-Step: An AI/ML-Based Metaheuristic for Surrogate
Optimization Problems [0.0]
コスト関数の広範囲な評価が高価で、アクセス不能、あるいは禁止されるシナリオにおいて、グローバルな最適化のための新しいアルゴリズムを導入する。
この手法はLandscape-Sketch-and-Step (LSS)と呼ばれ、機械学習、レプリカ最適化、強化学習技術を組み合わせたものである。
論文 参考訳（メタデータ） (2023-09-14T01:53:45Z) - Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。
実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-10-07T02:12:34Z) - Bayesian Optimization Over Iterative Learners with Structured Responses:
A Budget-aware Planning Approach [31.918476422203412]
本稿では,HPO 問題を解決するため,Budget-Aware Planning for Iterative Learningers (BAPI) と呼ばれる新しい手法を提案する。
反復学習者のための多様なHPOベンチマークの実験では、ほとんどの場合、BAPIは最先端のベースラインよりも優れた性能を示している。
論文 参考訳（メタデータ） (2022-06-25T18:44:06Z) - Self-focusing virtual screening with active design space pruning [2.853824009425466]
設計空間プルーニング(DSP)と呼ばれる手法を用いて,推論コストを軽減するモデル誘導最適化フレームワークの拡張を提案する。
DSPの様々な最適化タスクへの適用について検討し、ベースライン最適化に類似した性能を示しながら、オーバーヘッドコストの大幅な削減を観察する。
論文 参考訳（メタデータ） (2022-05-03T19:47:30Z) - Multi-Step Budgeted Bayesian Optimization with Unknown Evaluation Costs [28.254408148839644]
不均一な評価コストの設定に古典的な期待改善を一般化する非筋力的獲得関数を提案する。
我々の獲得関数は、様々な合成問題や実問題において、既存の手法よりも優れています。
論文 参考訳（メタデータ） (2021-11-12T02:18:26Z) - Optimal Bayesian experimental design for subsurface flow problems [77.34726150561087]
本稿では,設計ユーティリティ機能のためのカオス拡張サロゲートモデル(PCE)の開発のための新しいアプローチを提案する。
この手法により,対象関数に対する適切な品質応答面の導出が可能となり,計算予算は複数の単点評価に匹敵する。
論文 参考訳（メタデータ） (2020-08-10T09:42:59Z) - FlexiBO: A Decoupled Cost-Aware Multi-Objective Optimization Approach
for Deep Neural Networks [4.596221278839825]
我々は,FlexiBO(Flexible Multi-Objective Bayesian Optimization)と呼ばれる新しい多目的最適化アルゴリズムを開発し,この問題に対処する。
我々は、画像認識、自然言語処理(NLP)、音声からテキストへの翻訳のための7つの最先端DNN上でFlexiBOを評価する。
論文 参考訳（メタデータ） (2020-01-18T03:26:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。