論文の概要: Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints

• arxiv url: http://arxiv.org/abs/2004.00601v2
• Date: Thu, 1 Jul 2021 14:29:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 18:27:33.410479
• Title: Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints
• Title（参考訳）: 制約付き多目的ベイズ最適化のための並列予測エントロピー探索
• Authors: Eduardo C. Garrido-Merch\'an, Daniel Hern\'andez-Lobato
• Abstract要約: 実世界の問題は、しばしば複数の制約の下で複数の目的を最適化する。 本稿では,ブラックボックス関数の同時最適化のための情報ベースバッチ手法であるPESMOCを紹介する。 繰り返して、PESMOCはブラックボックスを評価するための入力場所のバッチを選択する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world problems often involve the optimization of several objectives under multiple constraints. An example is the hyper-parameter tuning problem of machine learning algorithms. In particular, the minimization of the estimation of the generalization error of a deep neural network and at the same time the minimization of its prediction time. We may also consider as a constraint that the deep neural network must be implemented in a chip with an area below some size. Here, both the objectives and the constraint are black boxes, i.e., functions whose analytical expressions are unknown and are expensive to evaluate. Bayesian optimization (BO) methodologies have given state-of-the-art results for the optimization of black-boxes. Nevertheless, most BO methods are sequential and evaluate the objectives and the constraints at just one input location, iteratively. Sometimes, however, we may have resources to evaluate several configurations in parallel. Notwithstanding, no parallel BO method has been proposed to deal with the optimization of multiple objectives under several constraints. If the expensive evaluations can be carried out in parallel (as when a cluster of computers is available), sequential evaluations result in a waste of resources. This article introduces PPESMOC, Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints, an information-based batch method for the simultaneous optimization of multiple expensive-to-evaluate black-box functions under the presence of several constraints. Iteratively, PPESMOC selects a batch of input locations at which to evaluate the black-boxes so as to maximally reduce the entropy of the Pareto set of the optimization problem. We present empirical evidence in the form of synthetic, benchmark and real-world experiments that illustrate the effectiveness of PPESMOC.
• Abstract（参考訳）: 実世界の問題は、しばしば複数の制約の下で複数の目的を最適化する。 例えば、機械学習アルゴリズムのハイパーパラメータチューニング問題である。 特に、ディープニューラルネットワークの一般化誤差の推定の最小化と同時に、予測時間の最小化を行う。 また、ディープニューラルネットワークを特定のサイズ以下の領域のチップに実装しなければならないという制約とも考えられる。 ここで、目的と制約はどちらもブラックボックス、すなわち解析式が未知であり、評価が高価である関数である。 ベイズ最適化(BO)手法はブラックボックスの最適化に最先端の結果を与えた。 それでもほとんどのboメソッドは逐次的であり、目標と制約を1つの入力位置で反復的に評価する。 しかしながら、複数の設定を並行して評価するリソースがある場合もあります。 しかしながら、複数の制約の下で複数の目的を最適化する並列BO法は提案されていない。 高価な評価を並行して行うことができる場合(コンピュータのクラスタが利用可能である場合のように)、シーケンシャルな評価はリソースの浪費につながる。 本稿では,PPESMOC, Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraintsを紹介する。 繰り返して、PPESMOCは最適化問題のパレート集合のエントロピーを最大化するためにブラックボックスを評価する一連の入力位置を選択する。 PPESMOCの有効性を示す合成,ベンチマーク,実世界の実験の形で実証的な証拠を提示する。

関連論文リスト

• Parallel Bayesian Optimization Using Satisficing Thompson Sampling for Time-Sensitive Black-Box Optimization [0.0]
  本稿では,Thompsonサンプリングに基づく並列BO手法を提案する。 ターゲットを最適なソリューションから、学習しやすい満足できるソリューションにシフトします。 リチウムイオン電池の高速充電設計問題に対して提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-19T07:03:51Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Polynomial-Model-Based Optimization for Blackbox Objectives [0.0]
  ブラックボックス最適化は、事前定義された目的関数が最小化されるようなシステムに対して最適なパラメータを求める。 PMBOは目的関数にサロゲートを合わせることで最小値を求める新しいブラックボックスである。 PMBOは、与えられた人工的解析関数のセットに対して、他の最先端のアルゴリズムとベンチマークされる。
  論文  参考訳（メタデータ） (2023-09-01T14:11:03Z)
• Scalable Bayesian optimization with high-dimensional outputs using randomized prior networks [3.0468934705223774]
  本稿では,確率化された先行するニューラルネットワークの自己ストラップ型アンサンブルに基づくBOとシーケンシャル意思決定のためのディープラーニングフレームワークを提案する。 提案手法は,高次元ベクトル空間や無限次元関数空間の値を取る場合においても,設計変数と関心量の関数的関係を近似することができることを示す。 提案手法をBOの最先端手法に対して検証し,高次元出力の課題に対して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-14T18:55:21Z)
• Symmetric Tensor Networks for Generative Modeling and Constrained Combinatorial Optimization [72.41480594026815]
  ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。 これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。 本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
  論文  参考訳（メタデータ） (2022-11-16T18:59:54Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Constrained multi-objective optimization of process design parameters in settings with scarce data: an application to adhesive bonding [48.7576911714538]
  接着プロセスに最適なプロセスパラメータを見つけることは困難である。 遺伝的アルゴリズムのような伝統的な進化的アプローチは、その問題を解決するのに不適である。 本研究では,目的関数と制約関数をエミュレートするために,特定の機械学習手法をうまく応用した。
  論文  参考訳（メタデータ） (2021-12-16T10:14:39Z)
• Learning How to Optimize Black-Box Functions With Extreme Limits on the Number of Function Evaluations [3.0969191504482243]
  ブラックボックス最適化では,約100桁の関数評価が極めて限られた数しか手頃な価格で行われない。 本稿では,確立された手法を用いて各バッチの点集合を提案し,これらの候補点から,並列に実行できる試行回数をダウンセレクトする手法を提案する。 我々は、正規化コストの平均50%の削減を達成し、これは非常に大きな性能改善である。
  論文  参考訳（メタデータ） (2021-03-18T15:30:15Z)
• Max-value Entropy Search for Multi-Objective Bayesian Optimization with Constraints [44.25245545568633]
  航空電力システム設計の応用においては、運動温度とセル電圧の比しきい値を満たすとともに、総エネルギーと質量をトレードオフする設計を見出す必要がある。 本稿では,制約付き多目的最適化のためのem Max-value Entropy Search (MESMOC) と呼ばれる新しい手法を提案する。 MESMOCは、出力空間エントロピーに基づく取得関数を使用して、評価のための入力のシーケンスを効率的に選択し、高品質なパリトセットソリューションを明らかにする。
  論文  参考訳（メタデータ） (2020-09-01T05:00:01Z)
• MOPS-Net: A Matrix Optimization-driven Network forTask-Oriented 3D Point Cloud Downsampling [86.42733428762513]
  MOPS-Netは行列最適化のための新しい解釈可能な深層学習手法である。 我々はMOPS-Netが様々なタスクに対して最先端の深層学習手法に対して好適な性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-05-01T14:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。