論文の概要: No-regret Algorithms for Multi-task Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2008.08885v1
- Date: Thu, 20 Aug 2020 10:55:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 03:06:58.780753
- Title: No-regret Algorithms for Multi-task Bayesian Optimization
- Title（参考訳）: マルチタスクベイズ最適化のための非線形アルゴリズム
- Authors: Sayak Ray Chowdhury, Aditya Gopalan
- Abstract要約: 非パラメトリックベイズ最適化における未知ベクトル値関数の多目的最適化(MOO)を考える。
目的のランダムなスキャラライズに基づく2つの新しいBOアルゴリズムを開発した。
合成MOO問題と実時間MOO問題の両方にアルゴリズムをベンチマークし、マルチタスクカーネルで学習することで得られる利点を示す。
- 参考スコア（独自算出の注目度）: 26.13594355150718
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider multi-objective optimization (MOO) of an unknown vector-valued
function in the non-parametric Bayesian optimization (BO) setting, with the aim
being to learn points on the Pareto front of the objectives. Most existing BO
algorithms do not model the fact that the multiple objectives, or equivalently,
tasks can share similarities, and even the few that do lack rigorous,
finite-time regret guarantees that capture explicitly inter-task structure. In
this work, we address this problem by modelling inter-task dependencies using a
multi-task kernel and develop two novel BO algorithms based on random
scalarizations of the objectives. Our algorithms employ vector-valued kernel
regression as a stepping stone and belong to the upper confidence bound class
of algorithms. Under a smoothness assumption that the unknown vector-valued
function is an element of the reproducing kernel Hilbert space associated with
the multi-task kernel, we derive worst-case regret bounds for our algorithms
that explicitly capture the similarities between tasks. We numerically
benchmark our algorithms on both synthetic and real-life MOO problems, and show
the advantages offered by learning with multi-task kernels.
- Abstract（参考訳）: 非パラメトリックベイズ最適化(BO)設定における未知ベクトル値関数の多目的最適化(MOO)を考える。
既存のboアルゴリズムの多くは、複数の目的、あるいは同等にタスクが類似点を共有することができるという事実をモデル化していない。
本研究では,マルチタスクカーネルを用いてタスク間の依存関係をモデル化し,目的のランダムなスキャラライズに基づく2つの新しいBOアルゴリズムを開発する。
我々のアルゴリズムはベクトル値のカーネル回帰を踏み台として、高信頼のバウンド・アルゴリズムに属する。
未知ベクトル値関数がマルチタスクカーネルに関連する再生カーネルヒルベルト空間の要素であるという滑らかさの仮定の下で、タスク間の類似性を明示的に捉えるアルゴリズムの最悪の場合の後悔の境界を導出する。
合成MOO問題と実時間MOO問題の両方にアルゴリズムをベンチマークし、マルチタスクカーネルで学習することで得られる利点を示す。
関連論文リスト
- Parametric-Task MAP-Elites [3.499042782396682]
Parametric-Task MAP-Elites (PT-ME) は連続マルチタスク最適化問題に対する新しいブラックボックスアルゴリズムである。
PT-ME は2つのパラメトリックタスクの玩具問題に対する深層強化学習アルゴリズム PPO やシミュレーションにおけるロボット問題など,すべてのベースラインより優れていることを示す。
論文 参考訳（メタデータ） (2024-02-02T10:04:29Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-09T03:55:09Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-30T15:57:14Z) - Efficient Convex Algorithms for Universal Kernel Learning [50.877957471649395]
カーネルの理想的な集合: 線形パラメータ化(トラクタビリティ)を認める; すべてのカーネルの集合に密着する(正確性)。
従来のカーネル最適化アルゴリズムは分類に限られており、計算に複雑なセミデフィニティプログラミング(SDP)アルゴリズムに依存していた。
本稿では,従来のSDP手法と比較して計算量を大幅に削減するSVD-QCQPQPアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-15T04:57:37Z) - A Scale-Independent Multi-Objective Reinforcement Learning with
Convergence Analysis [0.6091702876917281]
多くのシーケンシャルな意思決定問題は、対立する可能性のある異なる目的の最適化を必要とする。
本稿では,Advantage Actor-Critic (A2C)アルゴリズムに基づいて,単エージェントスケール非依存型多目的強化学習を開発する。
次に、収束保証を提供する考案された多目的アルゴリズムに対して収束解析を行う。
論文 参考訳（メタデータ） (2023-02-08T16:38:55Z) - Multi-Task Learning with Prior Information [5.770309971945476]
本稿では,機能間の関係に関する事前知識を利用するマルチタスク学習フレームワークを提案する。
また、各特徴に対して変化する係数に対してペナルティを課し、それらの共通する特徴に類似した係数を持つことを保証します。
論文 参考訳（メタデータ） (2023-01-04T12:48:05Z) - Lifelong Bandit Optimization: No Prior and No Regret [70.94238868711952]
我々は,過去の経験から学習することで環境に適応するアルゴリズムであるLIBOを開発した。
カーネルが未知だが、すべてのタスク間で共有されるカーネル構造を仮定する。
我々のアルゴリズムは、任意のカーネル化または線形バンディットアルゴリズムと組み合わせて、最適な性能を保証できる。
論文 参考訳（メタデータ） (2022-10-27T14:48:49Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-02T16:59:37Z) - Many Objective Bayesian Optimization [0.0]
マルチオブジェクトベイズ最適化(MOBO)は、ブラックボックスの同時最適化に成功している一連の手法である。
特に、MOBO法は、多目的最適化問題における目的の数が3以上である場合に問題があり、これは多くの目的設定である。
GPが測定値とアルゴリズムの有効性の予測分布を予測できるような,玩具,合成,ベンチマーク,実実験のセットで実証的な証拠を示す。
論文 参考訳（メタデータ） (2021-07-08T21:57:07Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。