論文の概要: BEACON: A Bayesian Optimization Strategy for Novelty Search in Expensive Black-Box Systems
- arxiv url: http://arxiv.org/abs/2406.03616v1
- Date: Wed, 5 Jun 2024 20:23:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 19:04:59.244102
- Title: BEACON: A Bayesian Optimization Strategy for Novelty Search in Expensive Black-Box Systems
- Title（参考訳）: BEACON: 高価なブラックボックスシステムにおけるノベルティ探索のためのベイズ最適化戦略
- Authors: Wei-Ting Tang, Ankush Chakrabarty, Joel A. Paulson,
- Abstract要約: ノベルティ・サーチ (NS) は、シミュレーションや実験を通じて様々なシステムの振る舞いを自動的に発見する探索アルゴリズムのクラスである。
このような高価なブラックボックスシステムに特化して設計されたサンプル効率のNSに対するベイズ最適化法を提案する。
提案手法は,限られたサンプル予算の下で,より大規模な多様な挙動の集合を見出すことにより,既存のNSアルゴリズムよりも大幅に優れていることを示す。
- 参考スコア（独自算出の注目度）: 1.204357447396532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Novelty search (NS) refers to a class of exploration algorithms that automatically uncover diverse system behaviors through simulations or experiments. Systematically obtaining diverse outcomes is a key component in many real-world design problems such as material and drug discovery, neural architecture search, reinforcement learning, and robot navigation. Since the relationship between the inputs and outputs (i.e., behaviors) of these complex systems is typically not available in closed form, NS requires a black-box perspective. Consequently, popular NS algorithms rely on evolutionary optimization and other meta-heuristics that require intensive sampling of the input space, which is impractical when the system is expensive to evaluate. We propose a Bayesian optimization inspired algorithm for sample-efficient NS that is specifically designed for such expensive black-box systems. Our approach models the input-to-behavior mapping with multi-output Gaussian processes (MOGP) and selects the next point to evaluate by maximizing a novelty metric that depends on a posterior sample drawn from the MOGP that promotes both exploration and exploitation. By leveraging advances in efficient posterior sampling and high-dimensional Gaussian process modeling, we discuss how our approach can be made scalable with respect to both amount of data and number of inputs. We test our approach on ten synthetic benchmark problems and eight real-world problems (with up to 2133 inputs) including new applications such as discovery of diverse metal organic frameworks for use in clean energy technology. We show that our approach greatly outperforms existing NS algorithms by finding substantially larger sets of diverse behaviors under limited sample budgets.
- Abstract（参考訳）: ノベルティ・サーチ (NS) は、シミュレーションや実験を通じて様々なシステムの振る舞いを自動的に発見する探索アルゴリズムのクラスである。
多様な成果を体系的に得ることは、物質や薬物発見、ニューラルアーキテクチャ探索、強化学習、ロボットナビゲーションなど、多くの現実世界の設計問題において重要な要素である。
これらの複雑なシステムの入力と出力(つまり振る舞い)の関係は通常閉形式では利用できないので、NSはブラックボックスの視点を必要とする。
その結果、一般的なNSアルゴリズムは、システム評価にコストがかかる場合に、入力空間の集中的なサンプリングを必要とする進化的最適化やその他のメタヒューリスティックに依存している。
このような高価なブラックボックスシステムに特化して設計されたサンプル効率のNSに対するベイズ最適化法を提案する。
提案手法は,多出力ガウス過程 (MOGP) を用いた入力-行動マッピングをモデル化し,探索と搾取の両方を促進するMOGPから得られた先行サンプルに依存する新規度測定値の最大化により,次の点を選択する。
効率的な後方サンプリングと高次元ガウス過程モデリングの進歩を活用することで、我々のアプローチをデータの量と入力数の両方に関してスケーラブルにする方法について議論する。
クリーンエネルギー技術に使用する多様な金属有機フレームワークの発見などを含む,10の総合的なベンチマーク問題と8つの実世界の問題(最大2133個のインプットを含む)に対して,我々のアプローチを検証した。
提案手法は,限られたサンプル予算の下で,より大規模な多様な挙動の集合を見出すことにより,既存のNSアルゴリズムよりも大幅に優れていることを示す。
関連論文リスト
- Enhancing CNN Classification with Lamarckian Memetic Algorithms and Local Search [0.0]
そこで本研究では,局所探索機能を組み込んだ2段階学習手法と集団最適化アルゴリズムを併用した新しい手法を提案する。
実験の結果,提案手法は最先端の勾配に基づく手法よりも優れていた。
論文 参考訳（メタデータ） (2024-10-26T17:31:15Z) - MGAS: Multi-Granularity Architecture Search for Trade-Off Between Model
Effectiveness and Efficiency [10.641875933652647]
我々は,多粒度アーキテクチャサーチ(MGAS)を導入し,効率的かつ効率的なニューラルネットワークを探索する。
各粒度レベル固有の離散化関数を学習し、進化したアーキテクチャに従って単位残率を適応的に決定する。
CIFAR-10、CIFAR-100、ImageNetの大規模な実験により、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-10-23T16:32:18Z) - Optimistic Active Exploration of Dynamical Systems [52.91573056896633]
我々はOPAXと呼ばれる活発な探索のためのアルゴリズムを開発した。
我々は,OPAXを各エピソードで解決可能な最適制御問題に還元する方法を示す。
実験の結果,OPAXは理論的に健全であるだけでなく,新規な下流タスクのゼロショット計画にも有効であることがわかった。
論文 参考訳（メタデータ） (2023-06-21T16:26:59Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳（メタデータ） (2023-05-29T17:25:26Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-02T16:59:37Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - ConCrete MAP: Learning a Probabilistic Relaxation of Discrete Variables
for Soft Estimation with Low Complexity [9.62543698736491]
ConCrete MAP Detection (CMD)は、大きな逆線形問題に対する反復検出アルゴリズムである。
我々は、SotAと比較して、CMDが有望なパフォーマンス複雑性のトレードオフを特徴付けることを示す。
特に,CMDのソフト出力がデコーダに信頼性を持つことを示す。
論文 参考訳（メタデータ） (2021-02-25T09:54:25Z) - Adaptive Local Bayesian Optimization Over Multiple Discrete Variables [9.860437640748113]
本稿では,チームKAIST OSIのアプローチをステップワイズで記述し,ベースラインアルゴリズムを最大20.39%向上させる。
同様の方法では,ベイジアンとマルチアームドバンディット(mab)の手法を組み合わせ,変数型を考慮した値選択を行う。
経験的評価により,提案手法は既存の手法を異なるタスクにまたがる性能を示す。
論文 参考訳（メタデータ） (2020-12-07T07:51:23Z) - DISPATCH: Design Space Exploration of Cyber-Physical Systems [5.273291582861981]
サイバー物理システム(CPS)の設計は、様々なCPS構成の大規模な検索空間を探索する難題である。
設計空間上のサンプル効率探索のための2段階の手法であるDisdisを提案する。
論文 参考訳（メタデータ） (2020-09-21T23:14:51Z) - Localized active learning of Gaussian process state space models [63.97366815968177]
多くの共通制御アプリケーションにおいて、優れた性能を達成するためには、グローバルに正確なモデルを必要としない。
本稿では,状態-作用空間の有界部分集合上の正確なモデルを得ることを目的としたガウス過程状態空間モデルに対する能動的学習戦略を提案する。
モデル予測制御を用いることで、探索中に収集した情報を統合し、探索戦略を適応的に改善する。
論文 参考訳（メタデータ） (2020-05-04T05:35:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。