論文の概要: Multi-Fidelity Bayesian Optimization With Across-Task Transferable Max-Value Entropy Search
- arxiv url: http://arxiv.org/abs/2403.09570v1
- Date: Thu, 14 Mar 2024 17:00:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 19:38:09.163911
- Title: Multi-Fidelity Bayesian Optimization With Across-Task Transferable Max-Value Entropy Search
- Title(参考訳): Across-Task Transferable Max-Value Entropy Search を用いた多要素ベイズ最適化
- Authors: Yunchuan Zhang, Sangwoo Park, Osvaldo Simeone,
- Abstract要約: 本稿では,現在のタスクに関する情報を取得する必要性と,将来的なタスクに伝達可能な情報を集めることのバランスをとる新しい情報理論獲得機能を提案する。
実世界の実世界の実例にまたがる実験結果から,提案手法が十分なタスク数を処理すると,最適化効率を大幅に向上できることが明らかとなった。
- 参考スコア(独自算出の注目度): 36.14499894307206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many applications, ranging from logistics to engineering, a designer is faced with a sequence of optimization tasks for which the objectives are in the form of black-box functions that are costly to evaluate. For example, the designer may need to tune the hyperparameters of neural network models for different learning tasks over time. Rather than evaluating the objective function for each candidate solution, the designer may have access to approximations of the objective functions, for which higher-fidelity evaluations entail a larger cost. Existing multi-fidelity black-box optimization strategies select candidate solutions and fidelity levels with the goal of maximizing the information accrued about the optimal value or solution for the current task. Assuming that successive optimization tasks are related, this paper introduces a novel information-theoretic acquisition function that balances the need to acquire information about the current task with the goal of collecting information transferable to future tasks. The proposed method includes shared inter-task latent variables, which are transferred across tasks by implementing particle-based variational Bayesian updates. Experimental results across synthetic and real-world examples reveal that the proposed provident acquisition strategy that caters to future tasks can significantly improve the optimization efficiency as soon as a sufficient number of tasks is processed.
- Abstract(参考訳): 多くのアプリケーションにおいて、ロジスティクスからエンジニアリングまで、設計者は、その目的が評価にコストがかかるブラックボックス関数の形で、一連の最適化タスクに直面している。
例えば、デザイナは、時間とともに異なる学習タスクのために、ニューラルネットワークモデルのハイパーパラメータを調整する必要があるかもしれない。
各候補解に対する目的関数を評価するのではなく、設計者は目的関数の近似にアクセスでき、高い忠実度評価はより大きなコストを伴う。
既存のマルチフィデリティブラックボックス最適化戦略では、現在のタスクの最適値や解に関する情報を最大化することを目的として、候補解とフィデリティレベルを選択する。
逐次最適化タスクが関連していると仮定すると,本論文では,現在のタスクに関する情報を取得する必要性と,将来のタスクに転送可能な情報収集の目標とのバランスをとる,新たな情報理論獲得機能を導入する。
提案手法は,タスク間で伝達されるタスク間潜伏変数の共有を含む。
実世界の実世界の実例にまたがる実験結果から,将来的な課題に適合する提案した提案手法が,十分な数のタスクを処理すれば,最適化効率を大幅に向上できることがわかった。
関連論文リスト
- MORL-Prompt: An Empirical Analysis of Multi-Objective Reinforcement
Learning for Discrete Prompt Optimization [49.60729578316884]
RLベースの手法は、ユーザーが指定した報酬関数の集合を最大化するプロンプトの探索に使用できる。
現在の技術は報酬関数の平均値の最大化に重点を置いており、必ずしも報酬間の均衡を達成するプロンプトに繋がるとは限らない。
本稿では,RLに基づく離散的なプロンプト最適化に,多目的最適化のためのいくつかの手法を適用する。
論文 参考訳(メタデータ) (2024-02-18T21:25:09Z) - Inverse Transfer Multiobjective Optimization [29.580786235313987]
我々は,多目的最適化における逆変換という新しい概念を導入する。
逆移動は確率的逆モデルを用いることで際立つ。
InvTrEMO(InvTrEMO)の第1回リバーストランスファー・マルチオブジェクト(InvTrEMO)を紹介する。
論文 参考訳(メタデータ) (2023-12-22T14:12:18Z) - Achieving Diversity in Objective Space for Sample-efficient Search of
Multiobjective Optimization Problems [4.732915763557618]
本稿では,LMS 取得機能を導入し,その挙動と特性を解析し,その実現可能性を示す。
この手法は、意思決定者に対して、将来性のある設計決定の堅牢なプールを提供し、優れたソリューションの空間をよりよく理解するのに役立つ。
論文 参考訳(メタデータ) (2023-06-23T20:42:22Z) - BOtied: Multi-objective Bayesian optimization with tied multivariate
ranks [49.85896045032822]
非支配解と最高多変量階との自然な関係を示し、これは合同累積分布関数(CDF)の最外層線と一致する。
我々はCDFインジケータに基づくBOtiedと呼ばれる取得関数を提案する。
論文 参考訳(メタデータ) (2023-06-01T04:50:06Z) - Joint Entropy Search for Multi-objective Bayesian Optimization [0.0]
本稿では,統合エントロピー探索(Joint Entropy Search)と呼ばれるBOのための情報理論獲得関数を提案する。
本稿では, ハイパーボリュームとその重み付き変種の観点から, 合成および実世界の諸問題に対するこの新しいアプローチの有効性を示す。
論文 参考訳(メタデータ) (2022-10-06T13:19:08Z) - Uni-Perceiver: Pre-training Unified Architecture for Generic Perception
for Zero-shot and Few-shot Tasks [73.63892022944198]
我々はUni-Perceiverという汎用認識アーキテクチャを提案する。
様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。
その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
論文 参考訳(メタデータ) (2021-12-02T18:59:50Z) - RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。
この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。
ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
論文 参考訳(メタデータ) (2021-10-27T05:37:12Z) - Resource Aware Multifidelity Active Learning for Efficient Optimization [0.8717253904965373]
本稿では,ブラックボックス関数の最適化を高速化するためのリソース・アウェア・アクティブ・ラーニング(RAAL)戦略を紹介する。
RAAL戦略は最適化タスクの大幅な高速化を可能にするために、最適に複数のポイントを投入する。
論文 参考訳(メタデータ) (2020-07-09T10:01:32Z) - Multi-Fidelity Bayesian Optimization via Deep Neural Networks [19.699020509495437]
多くのアプリケーションでは、目的関数を複数の忠実度で評価することで、コストと精度のトレードオフを可能にする。
本稿では,DNN-MFBO(Deep Neural Network Multi-Fidelity Bayesian Optimization)を提案する。
本手法の利点は, 総合的なベンチマークデータセットと, 工学設計における実世界の応用の両方にある。
論文 参考訳(メタデータ) (2020-07-06T23:28:40Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳(メタデータ) (2020-06-18T19:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。