論文の概要: BEACON: A Bayesian Optimization Strategy for Novelty Search in Expensive Black-Box Systems
- arxiv url: http://arxiv.org/abs/2406.03616v1
- Date: Wed, 5 Jun 2024 20:23:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 19:04:59.244102
- Title: BEACON: A Bayesian Optimization Strategy for Novelty Search in Expensive Black-Box Systems
- Title（参考訳）: BEACON: 高価なブラックボックスシステムにおけるノベルティ探索のためのベイズ最適化戦略
- Authors: Wei-Ting Tang, Ankush Chakrabarty, Joel A. Paulson,
- Abstract要約: ノベルティ・サーチ (NS) は、シミュレーションや実験を通じて様々なシステムの振る舞いを自動的に発見する探索アルゴリズムのクラスである。
このような高価なブラックボックスシステムに特化して設計されたサンプル効率のNSに対するベイズ最適化法を提案する。
提案手法は,限られたサンプル予算の下で,より大規模な多様な挙動の集合を見出すことにより,既存のNSアルゴリズムよりも大幅に優れていることを示す。
- 参考スコア（独自算出の注目度）: 1.204357447396532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Novelty search (NS) refers to a class of exploration algorithms that automatically uncover diverse system behaviors through simulations or experiments. Systematically obtaining diverse outcomes is a key component in many real-world design problems such as material and drug discovery, neural architecture search, reinforcement learning, and robot navigation. Since the relationship between the inputs and outputs (i.e., behaviors) of these complex systems is typically not available in closed form, NS requires a black-box perspective. Consequently, popular NS algorithms rely on evolutionary optimization and other meta-heuristics that require intensive sampling of the input space, which is impractical when the system is expensive to evaluate. We propose a Bayesian optimization inspired algorithm for sample-efficient NS that is specifically designed for such expensive black-box systems. Our approach models the input-to-behavior mapping with multi-output Gaussian processes (MOGP) and selects the next point to evaluate by maximizing a novelty metric that depends on a posterior sample drawn from the MOGP that promotes both exploration and exploitation. By leveraging advances in efficient posterior sampling and high-dimensional Gaussian process modeling, we discuss how our approach can be made scalable with respect to both amount of data and number of inputs. We test our approach on ten synthetic benchmark problems and eight real-world problems (with up to 2133 inputs) including new applications such as discovery of diverse metal organic frameworks for use in clean energy technology. We show that our approach greatly outperforms existing NS algorithms by finding substantially larger sets of diverse behaviors under limited sample budgets.
- Abstract（参考訳）: ノベルティ・サーチ (NS) は、シミュレーションや実験を通じて様々なシステムの振る舞いを自動的に発見する探索アルゴリズムのクラスである。
多様な成果を体系的に得ることは、物質や薬物発見、ニューラルアーキテクチャ探索、強化学習、ロボットナビゲーションなど、多くの現実世界の設計問題において重要な要素である。
これらの複雑なシステムの入力と出力(つまり振る舞い)の関係は通常閉形式では利用できないので、NSはブラックボックスの視点を必要とする。
その結果、一般的なNSアルゴリズムは、システム評価にコストがかかる場合に、入力空間の集中的なサンプリングを必要とする進化的最適化やその他のメタヒューリスティックに依存している。
このような高価なブラックボックスシステムに特化して設計されたサンプル効率のNSに対するベイズ最適化法を提案する。
提案手法は,多出力ガウス過程 (MOGP) を用いた入力-行動マッピングをモデル化し,探索と搾取の両方を促進するMOGPから得られた先行サンプルに依存する新規度測定値の最大化により,次の点を選択する。
効率的な後方サンプリングと高次元ガウス過程モデリングの進歩を活用することで、我々のアプローチをデータの量と入力数の両方に関してスケーラブルにする方法について議論する。
クリーンエネルギー技術に使用する多様な金属有機フレームワークの発見などを含む,10の総合的なベンチマーク問題と8つの実世界の問題(最大2133個のインプットを含む)に対して,我々のアプローチを検証した。
提案手法は,限られたサンプル予算の下で,より大規模な多様な挙動の集合を見出すことにより,既存のNSアルゴリズムよりも大幅に優れていることを示す。
関連論文リスト
- A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。
これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。
本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
論文 参考訳（メタデータ） (2024-12-18T14:11:15Z) - Optimistic Active Exploration of Dynamical Systems [52.91573056896633]
我々はOPAXと呼ばれる活発な探索のためのアルゴリズムを開発した。
我々は,OPAXを各エピソードで解決可能な最適制御問題に還元する方法を示す。
実験の結果,OPAXは理論的に健全であるだけでなく,新規な下流タスクのゼロショット計画にも有効であることがわかった。
論文 参考訳（メタデータ） (2023-06-21T16:26:59Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳（メタデータ） (2023-05-29T17:25:26Z) - Cheap and Deterministic Inference for Deep State-Space Models of
Interacting Dynamical Systems [38.23826389188657]
本稿では,基礎となる相互作用力学系をモデル化するために,グラフニューラルネットワークを用いた深部状態空間モデルを提案する。
予測分布はマルチモーダルであり、ガウス混合モデルの形をしており、ガウス成分のモーメントは決定論的モーメントマッチングルールによって計算できる。
我々のモーメントマッチングスキームはサンプルのない推論に利用でき、モンテカルロの代替案と比較してより効率的で安定した訓練がもたらされる。
論文 参考訳（メタデータ） (2023-05-02T20:30:23Z) - FLEX: an Adaptive Exploration Algorithm for Nonlinear Systems [6.612035830987298]
本稿では,最適設計に基づく非線形力学探索アルゴリズムFLEXを紹介する。
本ポリシーは,次のステップに関する情報を最大化し,適応探索アルゴリズムを実現する。
FLEXによる性能は競争力があり、計算コストも低い。
論文 参考訳（メタデータ） (2023-04-26T10:20:55Z) - MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven
Reinforcement Learning [65.52675802289775]
本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。
正規化最大度(NML)分布の計算法を提案する。
得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
論文 参考訳（メタデータ） (2021-07-15T08:19:57Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - ConCrete MAP: Learning a Probabilistic Relaxation of Discrete Variables
for Soft Estimation with Low Complexity [9.62543698736491]
ConCrete MAP Detection (CMD)は、大きな逆線形問題に対する反復検出アルゴリズムである。
我々は、SotAと比較して、CMDが有望なパフォーマンス複雑性のトレードオフを特徴付けることを示す。
特に,CMDのソフト出力がデコーダに信頼性を持つことを示す。
論文 参考訳（メタデータ） (2021-02-25T09:54:25Z) - Deep Multi-Fidelity Active Learning of High-dimensional Outputs [17.370056935194786]
我々は,高次元出力で学習するためのディープニューラルネットワークに基づく多忠実度モデルを開発した。
次に,予測エントロピーの原理を拡張する情報に基づく相互獲得関数を提案する。
計算物理学と工学設計のいくつかの応用において,本手法の利点を示す。
論文 参考訳（メタデータ） (2020-12-02T00:02:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。