論文の概要: Transfer Learning for Bayesian Optimization: A Survey
- arxiv url: http://arxiv.org/abs/2302.05927v1
- Date: Sun, 12 Feb 2023 14:37:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 17:49:26.011524
- Title: Transfer Learning for Bayesian Optimization: A Survey
- Title(参考訳): ベイズ最適化のための転送学習:調査
- Authors: Tianyi Bai, Yang Li, Yu Shen, Xinyi Zhang, Wentao Zhang, and Bin Cui
- Abstract要約: ブラックボックス最適化は、このような高価なブラックボックス機能をモデル化し、最適化する強力なツールである。
BOコミュニティの研究者たちは、最適化プロセスの高速化にトランスファーラーニングの精神を取り入れることを提案する。
- 参考スコア(独自算出の注目度): 29.229660973338145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A wide spectrum of design and decision problems, including parameter tuning,
A/B testing and drug design, intrinsically are instances of black-box
optimization. Bayesian optimization (BO) is a powerful tool that models and
optimizes such expensive "black-box" functions. However, at the beginning of
optimization, vanilla Bayesian optimization methods often suffer from slow
convergence issue due to inaccurate modeling based on few trials. To address
this issue, researchers in the BO community propose to incorporate the spirit
of transfer learning to accelerate optimization process, which could borrow
strength from the past tasks (source tasks) to accelerate the current
optimization problem (target task). This survey paper first summarizes transfer
learning methods for Bayesian optimization from four perspectives: initial
points design, search space design, surrogate model, and acquisition function.
Then it highlights its methodological aspects and technical details for each
approach. Finally, it showcases a wide range of applications and proposes
promising future directions.
- Abstract(参考訳): パラメータチューニング、A/Bテスト、薬物設計を含む幅広い設計と決定の問題は、本質的にブラックボックス最適化の例である。
ベイズ最適化(BO)は、このような高価なブラックボックス機能をモデル化し最適化する強力なツールである。
しかし、最適化の開始時、バニラ・ベイズ最適化法は、少数の試行に基づく不正確なモデリングのために、しばしば収束の遅い問題に苦しむ。
この問題に対処するため、BOコミュニティの研究者らは、転送学習の精神を取り入れて最適化プロセスを加速し、過去のタスク(ソースタスク)から強みを借りて現在の最適化問題(ターゲットタスク)を加速させることを提案する。
本稿ではまず,ベイズ最適化のための移動学習手法について,初期点設計,探索空間設計,代理モデル,獲得関数の4点から要約する。
次に、それぞれのアプローチの方法論的側面と技術的な詳細を強調する。
最後に、幅広いアプリケーションを紹介し、将来的な方向性を示唆する。
関連論文リスト
- Enhanced Bayesian Optimization via Preferential Modeling of Abstract
Properties [49.351577714596544]
本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。
優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
論文 参考訳(メタデータ) (2024-02-27T09:23:13Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳(メタデータ) (2024-02-12T16:33:35Z) - A General Framework for User-Guided Bayesian Optimization [51.96352579696041]
コラボ (ColaBO) は、典型的なカーネル構造を超越した事前信念のための最初のベイズ原理の枠組みである。
我々は,ColaBOの事前情報が正確である場合に最適化を著しく高速化し,ミスリード時のほぼ既定性能を維持する能力を実証的に実証した。
論文 参考訳(メタデータ) (2023-11-24T18:27:26Z) - Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and
Optimization [59.386153202037086]
Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。
本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
論文 参考訳(メタデータ) (2023-11-22T01:32:06Z) - Efficient Bayesian Optimization with Deep Kernel Learning and
Transformer Pre-trained on Multiple Heterogeneous Datasets [9.510327380529892]
本稿では,トランスフォーマーベースのエンコーダから学習した深い特徴に基づいてカーネルが定義されたガウス過程(GP)であるサロゲートを事前訓練する簡単な手法を提案する。
総合的および実ベンチマーク問題に対する実験は,提案した事前学習および転送BO戦略の有効性を実証するものである。
論文 参考訳(メタデータ) (2023-08-09T01:56:10Z) - An Empirical Evaluation of Zeroth-Order Optimization Methods on
AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。
ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。
本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文 参考訳(メタデータ) (2022-10-27T01:58:10Z) - Teaching Networks to Solve Optimization Problems [13.803078209630444]
反復解法をトレーニング可能なパラメトリック集合関数に置き換えることを提案する。
このようなパラメトリックな(集合)関数を学習することで、様々な古典的最適化問題を解くことができることを示す。
論文 参考訳(メタデータ) (2022-02-08T19:13:13Z) - Bayesian Optimization in Materials Science: A Survey [4.037250810373225]
材料科学におけるベイズ最適化のアプローチについて調査する。
両者の間にはほとんど重複はない。
共同研究における共通の課題と機会を強調します。
論文 参考訳(メタデータ) (2021-07-29T18:45:10Z) - Bayesian Optimisation for Constrained Problems [0.0]
本稿では,制約を扱える知恵グラディエント獲得関数の新たな変種を提案する。
我々は、このアルゴリズムを、他の4つの最先端制約されたベイズ最適化アルゴリズムと比較し、その優れた性能を実証する。
論文 参考訳(メタデータ) (2021-05-27T15:43:09Z) - Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。
レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
論文 参考訳(メタデータ) (2020-08-02T02:56:30Z) - Bayesian Optimization for Policy Search in High-Dimensional Systems via
Automatic Domain Selection [1.1240669509034296]
我々は,BOを高次元制御タスクに拡張するために,最適制御による結果を活用することを提案する。
BO問題を単純化するために,学習したダイナミクスモデルをモデルベースコントローラと組み合わせて利用する方法を示す。
本報告では,クワッドコプターの48次元ポリシを含む実ハードウェアおよびシミュレーションタスクについて実験的に評価する。
論文 参考訳(メタデータ) (2020-01-21T09:04:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。