論文の概要: On Provably Robust Meta-Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2206.06872v2
• Date: Thu, 16 Jun 2022 02:03:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 11:50:44.516184
• Title: On Provably Robust Meta-Bayesian Optimization
• Title（参考訳）: 確率ロバストなメタベイズ最適化について
• Authors: Zhongxiang Dai, Yizhou Chen, Haibin Yu, Bryan Kian Hsiang Low, Patrick Jaillet
• Abstract要約: 本稿では,2つのスケーラブルかつ証明可能なメタBOアルゴリズムを提案する。 従来のタスクが現在のタスクと相違している場合でも,どちらのアルゴリズムも不一致であることを示す。 また、オンライン学習による後悔の最小化を通じて、個々の過去のタスクに割り当てられた重みを最適化するための理論的保証も活用する。
• 参考スコア（独自算出の注目度）: 47.29078719780444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) has become popular for sequential optimization of black-box functions. When BO is used to optimize a target function, we often have access to previous evaluations of potentially related functions. This begs the question as to whether we can leverage these previous experiences to accelerate the current BO task through meta-learning (meta-BO), while ensuring robustness against potentially harmful dissimilar tasks that could sabotage the convergence of BO. This paper introduces two scalable and provably robust meta-BO algorithms: robust meta-Gaussian process-upper confidence bound (RM-GP-UCB) and RM-GP-Thompson sampling (RM-GP-TS). We prove that both algorithms are asymptotically no-regret even when some or all previous tasks are dissimilar to the current task, and show that RM-GP-UCB enjoys a better theoretical robustness than RM-GP-TS. We also exploit the theoretical guarantees to optimize the weights assigned to individual previous tasks through regret minimization via online learning, which diminishes the impact of dissimilar tasks and hence further enhances the robustness. Empirical evaluations show that (a) RM-GP-UCB performs effectively and consistently across various applications, and (b) RM-GP-TS, despite being less robust than RM-GP-UCB both in theory and in practice, performs competitively in some scenarios with less dissimilar tasks and is more computationally efficient.
• Abstract（参考訳）: ベイズ最適化(BO)はブラックボックス関数の逐次最適化に人気がある。 BOが対象関数の最適化に使用される場合、私たちはしばしば、潜在的に関連する関数の以前の評価にアクセスできる。 メタラーニング(meta-BO)を通じて現在のBOタスクを加速し、BOの収束を妨害する潜在的に有害な異種タスクに対して堅牢性を確保するために、これらの経験を活用できるかどうかという疑問を提起する。 本稿では,ロバストなメタガウス的プロセスアップパー信頼性境界(RM-GP-UCB)とRM-GP-トンプソンサンプリング(RM-GP-TS)という,スケーラブルかつ実証可能な2つのメタBOアルゴリズムを提案する。 また, RM-GP-UCB が RM-GP-TS よりも理論的ロバスト性が高いことを示す。 また,オンライン学習による後悔の最小化により,個々のタスクに割り当てられた重みを最適化する理論的な保証を活用し,異なるタスクの影響を低減し,堅牢性をさらに向上させる。 実証的な評価は (a)RM-GP-UCBは様々な用途で効果的かつ一貫して動作し、 (b)RM-GP-TSは、理論上も実際においてもRM-GP-UCBよりも頑丈ではないが、相似性が少なく、計算効率が良いいくつかのシナリオにおいて競合的に動作する。

関連論文リスト

• Bigger, Regularized, Optimistic: scaling for compute and sample-efficient continuous control [1.1404490220482764]
  BROは、犬とヒューマノイドのタスクにおいて、ほぼ最適ポリシーを達成するためのモデルフリーのアルゴリズムである。 BROは最先端の結果を達成し、主要なモデルベースおよびモデルフリーアルゴリズムを著しく上回っている。 BROは、非常に難しい犬とヒューマノイドのタスクにおいて、ほぼ最適なポリシーを達成した最初のモデルなしアルゴリズムである。
  論文  参考訳（メタデータ） (2024-05-25T09:53:25Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Scalable Meta-Learning with Gaussian Processes [11.528128570533273]
  タスク数でスケーラブルなメタ学習のためのモジュール型GPモデルであるScaML-GPを開発した。 私たちのコアコントリビューションは、階層的なトレーニングとタスクのスケーラビリティを可能にする、慎重に設計されたマルチタスクカーネルです。 合成および実世界のメタ学習実験において、ScaML-GPは少ないメタタスクと多数のメタタスクの両方で効率的に学習できることを実証した。
  論文  参考訳（メタデータ） (2023-12-01T17:25:10Z)
• CARE: Confidence-rich Autonomous Robot Exploration using Bayesian Kernel Inference and Optimization [12.32946442160165]
  未知・複雑な環境における情報に基づく自律ロボット探査の効率化を検討する。 ベイジアンカーネル推論と最適化に基づく新しい軽量情報ゲイン推定法(BKIO)を提案する。 異なる非構造, 乱雑な環境下での探索性能を損なうことなく, 提案手法の所望の効率性を示す。
  論文  参考訳（メタデータ） (2023-09-11T02:30:06Z)
• Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability [67.8426046908398]
  汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。 本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
  論文  参考訳（メタデータ） (2022-04-08T20:46:16Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)
• Mixed Strategies for Robust Optimization of Unknown Objectives [93.8672371143881]
  そこでは,不確実なパラメータの最悪の実現に対して,未知の目的関数を最適化することを目的として,ロバストな最適化問題を考察する。 我々は,未知の目的をノイズ点評価から逐次学習する,新しいサンプル効率アルゴリズムGP-MROを設計する。 GP-MROは、最悪のケースで期待される目標値を最大化する、堅牢でランダムな混合戦略の発見を目指している。
  論文  参考訳（メタデータ） (2020-02-28T09:28:17Z)
• PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
  PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。 我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
  論文  参考訳（メタデータ） (2020-02-13T15:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。