論文の概要: Sequential- and Parallel- Constrained Max-value Entropy Search via Information Lower Bound

• arxiv url: http://arxiv.org/abs/2102.09788v1
• Date: Fri, 19 Feb 2021 08:10:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-22 13:23:55.909024
• Title: Sequential- and Parallel- Constrained Max-value Entropy Search via Information Lower Bound
• Title（参考訳）: 情報下限による逐次および並列制約付きmax値エントロピー探索
• Authors: Shion Takeno, Tomoyuki Tamura, Kazuki Shitara, and Masayuki Karasuyama
• Abstract要約: 我々は、最大値エントロピー探索(MES)と呼ばれる情報理論のアプローチに焦点を当てる。 CMES-IBO(Constrained Max-value Entropy Search via Information lower BOund)と呼ばれる新しい制約BO法を提案する。
• 参考スコア（独自算出の注目度）: 9.09466320810472
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recently, several Bayesian optimization (BO) methods have been extended to the expensive black-box optimization problem with unknown constraints, which is an important problem that appears frequently in practice. We focus on an information-theoretic approach called Max-value Entropy Search (MES) whose superior performance has been repeatedly shown in BO literature. Since existing MES-based constrained BO is restricted to only one constraint, we first extend it to multiple constraints, but we found that this approach can cause negative approximate values for the mutual information, which can result in unreasonable decisions. In this paper, we employ a different approximation strategy that is based on a lower bound of the mutual information, and propose a novel constrained BO method called Constrained Max-value Entropy Search via Information lower BOund (CMES-IBO). Our approximate mutual information derived from the lower bound has a simple closed-form that is guaranteed to be nonnegative, and we show that irrational behavior caused by the negative value can be avoided. Furthermore, by using conditional mutual information, we extend our methods to the parallel setting in which multiple queries can be issued simultaneously. Finally, we demonstrate the effectiveness of our proposed methods by benchmark functions and real-world applications to materials science.
• Abstract（参考訳）: 近年、いくつかのベイズ最適化(BO)手法が未知の制約を持つ高価なブラックボックス最適化問題に拡張されており、これは実際に頻繁に現れる重要な問題である。 我々は,BO文献において,優れた性能を示す最大値エントロピー探索 (MES) と呼ばれる情報理論的手法に注目した。 既存のMESベースの制約付きBOは1つの制約に制限されているため、まず複数の制約に拡張するが、このアプローチは相互情報に対して負の近似値をもたらす可能性があり、不合理な決定をもたらす可能性がある。 本論文では, 相互情報のより低い境界に基づく異なる近似戦略を用い, 制約付き最大値エントロピー探索 (Constrained Max-value Entropy Search via Information lower BOund,CMES-IBO) という新たな制約付きBO法を提案する。 下界から得られた近似的相互情報は、非負であることが保証される単純な閉形式を持ち、負の値による不合理な振る舞いを回避できることを示す。 さらに、条件付き相互情報を利用することで、複数のクエリを同時に発行できる並列設定にメソッドを拡張します。 最後に,提案手法の有効性をベンチマーク関数と実世界応用による材料科学への応用で実証する。

関連論文リスト

• Maximum a Posteriori Inference for Factor Graphs via Benders' Decomposition [0.38233569758620056]
  一般ベイズ因子モデルにおける最大a-ポストペリオーリ推定法を提案する。 ベイジアン・ガウス混合モデルと潜在ディリクレ割り当てに対するMAP推定アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2024-10-24T19:57:56Z)
• Sound Heuristic Search Value Iteration for Undiscounted POMDPs with Reachability Objectives [16.101435842520473]
  本稿では,POMDPにおける最大到達可能性確率問題(indefinite-horizon)と呼ばれる問題について検討する。 割引問題に対するポイントベース手法の成功に触発され,MRPPへの拡張について検討した。 本稿では,これらの手法の強みを有効活用し,信念空間を効率的に探索するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-05T02:33:50Z)
• No-Regret Constrained Bayesian Optimization of Noisy and Expensive Hybrid Models using Differentiable Quantile Function Approximations [0.0]
  Constrained Upper Quantile Bound (CUQB) は、制約近似を避けるための概念的に単純で決定論的アプローチである。 CUQBは制約のある場合と制約のない場合の両方において従来のベイズ最適化よりも著しく優れることを示す。
  論文  参考訳（メタデータ） (2023-05-05T19:57:36Z)
• Limitations of Information-Theoretic Generalization Bounds for Gradient Descent Methods in Stochastic Convex Optimization [48.12845778927164]
  凸最適化の設定において,勾配勾配降下の最小値設定の見通しを考察する。 勾配法の研究においてよく用いられる手法として、最終回はガウス雑音によって劣化し、ノイズの多い「代理」アルゴリズムが生成される。 以上の結果から,情報理論を用いた勾配降下解析には新たな考え方が必要であることが示唆された。
  論文  参考訳（メタデータ） (2022-12-27T17:16:48Z)
• Interactively Learning Preference Constraints in Linear Bandits [100.78514640066565]
  我々は、既知の報酬と未知の制約で逐次意思決定を研究する。 応用として,運転シミュレーションにおいて,人間の嗜好を表現するための学習制約を検討する。
  論文  参考訳（メタデータ） (2022-06-10T17:52:58Z)
• LSDAT: Low-Rank and Sparse Decomposition for Decision-based Adversarial Attack [74.5144793386864]
  LSDATは、入力サンプルのスパース成分と対向サンプルのスパース成分によって形成される低次元部分空間における摂動を加工する。 LSDは画像ピクセル領域で直接動作し、スパース性などの非$ell$制約が満たされることを保証します。
  論文  参考訳（メタデータ） (2021-03-19T13:10:47Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)
• CLUB: A Contrastive Log-ratio Upper Bound of Mutual Information [105.73798100327667]
  本稿では,相互情報の対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物 CLUBの特性とその変分近似に関する理論的解析を行う。 この上限に基づいてMI最小化学習手法を導入し、さらに負のサンプリング戦略で加速する。
  論文  参考訳（メタデータ） (2020-06-22T05:36:16Z)
• Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints [0.0]
  実世界の問題は、しばしば複数の制約の下で複数の目的を最適化する。 本稿では,ブラックボックス関数の同時最適化のための情報ベースバッチ手法であるPESMOCを紹介する。 繰り返して、PESMOCはブラックボックスを評価するための入力場所のバッチを選択する。
  論文  参考訳（メタデータ） (2020-04-01T17:37:58Z)
• The Simulator: Understanding Adaptive Sampling in the Moderate-Confidence Regime [52.38455827779212]
  エミュレータと呼ばれる適応サンプリングを解析するための新しい手法を提案する。 適切なログファクタを組み込んだトップk問題の最初のインスタンスベースの下位境界を証明します。 我々の新しい分析は、後者の問題に対するこの種の最初のエミュレータであるベストアームとトップkの識別に、シンプルでほぼ最適であることを示した。
  論文  参考訳（メタデータ） (2017-02-16T23:42:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。