論文の概要: Neural Process for Black-Box Model Optimization Under Bayesian Framework

• arxiv url: http://arxiv.org/abs/2104.02487v1
• Date: Sat, 3 Apr 2021 23:35:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-08 01:22:37.488024
• Title: Neural Process for Black-Box Model Optimization Under Bayesian Framework
• Title（参考訳）: ベイズフレームワークによるブラックボックスモデル最適化のためのニューラルプロセス
• Authors: Zhongkai Shangguan and Lei Lin and Wencheng Wu and Beilei Xu
• Abstract要約: ブラックボックスモデルは、内部動作の知識がなくても、入力と出力の観点でしか見ることができないため、一般に名前がつけられる。 そのような問題を解決するための強力なアルゴリズムの1つは、最高のパフォーマンスにつながるモデルパラメータを効果的に推定できるベイズ最適化です。 GPが多くの観測やパラメーターを持つ必要のあるブラックボックスモデルを最適化することは困難である。 ニューラルプロセスを用いたベイズ最適化アルゴリズムをサーロゲートモデルとして提案し,ブラックボックスモデル最適化を行う。
• 参考スコア（独自算出の注目度）: 7.455546102930911
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: There are a large number of optimization problems in physical models where the relationships between model parameters and outputs are unknown or hard to track. These models are named as black-box models in general because they can only be viewed in terms of inputs and outputs, without knowledge of the internal workings. Optimizing the black-box model parameters has become increasingly expensive and time consuming as they have become more complex. Hence, developing effective and efficient black-box model optimization algorithms has become an important task. One powerful algorithm to solve such problem is Bayesian optimization, which can effectively estimates the model parameters that lead to the best performance, and Gaussian Process (GP) has been one of the most widely used surrogate model in Bayesian optimization. However, the time complexity of GP scales cubically with respect to the number of observed model outputs, and GP does not scale well with large parameter dimension either. Consequently, it has been challenging for GP to optimize black-box models that need to query many observations and/or have many parameters. To overcome the drawbacks of GP, in this study, we propose a general Bayesian optimization algorithm that employs a Neural Process (NP) as the surrogate model to perform black-box model optimization, namely, Neural Process for Bayesian Optimization (NPBO). In order to validate the benefits of NPBO, we compare NPBO with four benchmark approaches on a power system parameter optimization problem and a series of seven benchmark Bayesian optimization problems. The results show that the proposed NPBO performs better than the other four benchmark approaches on the power system parameter optimization problem and competitively on the seven benchmark problems.
• Abstract（参考訳）: 物理モデルには、モデルパラメータと出力の関係が未知あるいは追跡が難しい、多くの最適化問題が存在する。 これらのモデルは一般にブラックボックスモデルと名付けられ、内部動作の知識なしに入力や出力の観点でしか見ることができない。 ブラックボックスモデルのパラメータの最適化はますます高価になり、複雑になるにつれて時間がかかります。 そのため,効率的なブラックボックスモデル最適化アルゴリズムの開発が重要な課題となっている。 そのような問題を解決する強力なアルゴリズムの1つはベイズ最適化であり、最高の性能をもたらすモデルパラメータを効果的に推定し、ガウス過程(GP)はベイズ最適化において最も広く使われている代理モデルの一つである。 しかし、GPの時間的複雑さは観測されたモデル出力の数に対して立方的にスケールし、GPも大きなパラメータ次元でうまくスケールしない。 その結果、gpが多くの観測やパラメータをクエリする必要があるブラックボックスモデルを最適化することは困難である。 本研究では,GPの欠点を克服するため,NP(Neural Process for Bayesian Optimization)と呼ばれるブラックボックスモデル最適化を行うために,NP(Neural Process)をサロゲートモデルとして用いた一般ベイズ最適化アルゴリズムを提案する。 npboの利点を検証するために,電力系統パラメータ最適化問題と7つのベンチマークベイズ最適化問題に関して,npboを4つのベンチマーク手法と比較した。 その結果,提案するnpboは,電力系統パラメータ最適化問題や7つのベンチマーク問題において,他の4つのベンチマーク手法よりも優れた性能を示すことがわかった。

関連論文リスト

• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Polynomial-Model-Based Optimization for Blackbox Objectives [0.0]
  ブラックボックス最適化は、事前定義された目的関数が最小化されるようなシステムに対して最適なパラメータを求める。 PMBOは目的関数にサロゲートを合わせることで最小値を求める新しいブラックボックスである。 PMBOは、与えられた人工的解析関数のセットに対して、他の最先端のアルゴリズムとベンチマークされる。
  論文  参考訳（メタデータ） (2023-09-01T14:11:03Z)
• Predictive Modeling through Hyper-Bayesian Optimization [60.586813904500595]
  本稿では,モデル選択とBOを統合する新しい手法を提案する。 このアルゴリズムは、モデル空間のBOと関数空間のBOの間を行き来する。 サンプル効率の改善に加えて、ブラックボックス機能に関する情報も出力する。
  論文  参考訳（メタデータ） (2023-08-01T04:46:58Z)
• Model-based Causal Bayesian Optimization [78.120734120667]
  モデルに基づく因果ベイズ最適化(MCBO)を提案する。 MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。 標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
  論文  参考訳（メタデータ） (2022-11-18T14:28:21Z)
• Bayesian Optimization over Permutation Spaces [30.650753803587794]
  BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。 BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。 複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-12-02T08:20:50Z)
• Non-smooth Bayesian Optimization in Tuning Problems [5.768843113172494]
  代理モデルの構築は、未知のブラックボックス関数を学習しようとする場合の一般的なアプローチである。 クラスター化ガウス過程 (cGP) と呼ばれる新しい加法的ガウス過程モデルを提案し, 加法的成分はクラスタリングによって誘導される。 調査した例では、反復実験で最大90%の性能向上が可能である。
  論文  参考訳（メタデータ） (2021-09-15T20:22:09Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)
• Bayesian Optimization for Policy Search in High-Dimensional Systems via Automatic Domain Selection [1.1240669509034296]
  我々は,BOを高次元制御タスクに拡張するために,最適制御による結果を活用することを提案する。 BO問題を単純化するために,学習したダイナミクスモデルをモデルベースコントローラと組み合わせて利用する方法を示す。 本報告では,クワッドコプターの48次元ポリシを含む実ハードウェアおよびシミュレーションタスクについて実験的に評価する。
  論文  参考訳（メタデータ） (2020-01-21T09:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。