論文の概要: Data-driven Prior Learning for Bayesian Optimisation

• arxiv url: http://arxiv.org/abs/2311.14653v1
• Date: Fri, 24 Nov 2023 18:37:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-27 14:10:31.807507
• Title: Data-driven Prior Learning for Bayesian Optimisation
• Title（参考訳）: ベイズ最適化のためのデータ駆動事前学習
• Authors: Sigrid Passano Hellan and Christopher G. Lucas and Nigel H. Goddard
• Abstract要約: PLeBOと先行転送は少ない評価で良好な入力が得られることを示す。 学習先を検証し,伝達学習手法の広さと比較する。 PLeBOと先行転送は少ない評価で良好な入力が得られることを示す。
• 参考スコア（独自算出の注目度）: 5.844015313757267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning for Bayesian optimisation has generally assumed a strong similarity between optimisation tasks, with at least a subset having similar optimal inputs. This assumption can reduce computational costs, but it is violated in a wide range of optimisation problems where transfer learning may nonetheless be useful. We replace this assumption with a weaker one only requiring the shape of the optimisation landscape to be similar, and analyse the recent method Prior Learning for Bayesian Optimisation - PLeBO - in this setting. By learning priors for the hyperparameters of the Gaussian process surrogate model we can better approximate the underlying function, especially for few function evaluations. We validate the learned priors and compare to a breadth of transfer learning approaches, using synthetic data and a recent air pollution optimisation problem as benchmarks. We show that PLeBO and prior transfer find good inputs in fewer evaluations.
• Abstract（参考訳）: ベイズ最適化のための転送学習は一般に最適化タスク間の強い類似性を仮定しており、少なくとも同様の最適入力を持つ部分集合がある。 この仮定は計算コストを削減できるが、転送学習が有用であるにもかかわらず、幅広い最適化問題に違反する。 我々は、この仮定を、最適化ランドスケープの形状が類似することだけを必要とする弱いものに置き換え、この設定で最近のベイズ最適化の事前学習(PLeBO)を分析します。 ガウス過程代理モデルのハイパーパラメーターの事前学習により、基礎関数、特に少数の関数評価についてよりよく近似することができる。 本研究は, 総合データと最近の大気汚染最適化問題をベンチマークとして, 学習先を検証し, 伝達学習アプローチの広範性と比較する。 PLeBOと先行転送は少ない評価で良好な入力が得られることを示す。

関連論文リスト

• Forecasting Outside the Box: Application-Driven Optimal Pointwise Forecasts for Stochastic Optimization [0.0]
  本稿では,未知の状況の最適近似を導出する統合学習と最適化手法を提案する。 文献の在庫問題と実データを用いた自転車共有問題から得られた数値結果から,提案手法が有効であることを示す。
  論文  参考訳（メタデータ） (2024-11-05T21:54:50Z)
• Efficient Bayesian Optimization with Deep Kernel Learning and Transformer Pre-trained on Multiple Heterogeneous Datasets [9.510327380529892]
  本稿では,トランスフォーマーベースのエンコーダから学習した深い特徴に基づいてカーネルが定義されたガウス過程(GP)であるサロゲートを事前訓練する簡単な手法を提案する。 総合的および実ベンチマーク問題に対する実験は,提案した事前学習および転送BO戦略の有効性を実証するものである。
  論文  参考訳（メタデータ） (2023-08-09T01:56:10Z)
• Optimizer Amalgamation [124.33523126363728]
  私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか? まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。 また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
  論文  参考訳（メタデータ） (2022-03-12T16:07:57Z)
• Teaching Networks to Solve Optimization Problems [13.803078209630444]
  反復解法をトレーニング可能なパラメトリック集合関数に置き換えることを提案する。 このようなパラメトリックな(集合)関数を学習することで、様々な古典的最適化問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-02-08T19:13:13Z)
• SnAKe: Bayesian Optimization with Pathwise Exploration [9.807656882149319]
  本稿では,イテレーション間の大きな入力変更を行う場合,関数評価のコストが大幅に増大する,という新しい設定について考察する。 本稿では,この問題を考察し,適応接続サンプルを用いた逐次ベイズ最適化(SnAKe)を導入する。 将来のクエリを考慮し、入力コストを最小限に抑える最適化パスをプリエンプティブに構築することで、ソリューションを提供する。
  論文  参考訳（メタデータ） (2022-01-31T19:42:56Z)
• Adaptive Optimization with Examplewise Gradients [23.504973357538418]
  本稿では,機械学習のための勾配に基づく最適化手法の設計に対して,より汎用的なアプローチを提案する。 この新しいフレームワークでは、イテレーションは単一の見積もりではなく、パラメータごとの見積もりのバッチへのアクセスを前提としています。 これは、典型的な機械学習のセットアップで実際に利用できる情報を反映している。
  論文  参考訳（メタデータ） (2021-11-30T23:37:01Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
  予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。 本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。 本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-04T00:26:56Z)
• Fast Rates for Contextual Linear Optimization [52.39202699484225]
  提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。 予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
  論文  参考訳（メタデータ） (2020-11-05T18:43:59Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。