論文の概要: Joint Entropy Search For Maximally-Informed Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2206.04771v1
• Date: Thu, 9 Jun 2022 21:19:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-13 15:31:19.359055
• Title: Joint Entropy Search For Maximally-Informed Bayesian Optimization
• Title（参考訳）: 最大変形ベイズ最適化のための合同エントロピー探索
• Authors: Carl Hvarfner and Frank Hutter and Luigi Nardi
• Abstract要約: 本稿では,入力空間と出力空間の両面における最適確率密度のエントロピーを考慮した情報理論獲得関数を提案する。 Joint Entropy Search (JES) は優れた意思決定能力を示し、幅広いタスクにまたがる情報理論的アプローチの最先端のパフォーマンスをもたらす。
• 参考スコア（独自算出の注目度）: 38.10887297038352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information-theoretic Bayesian optimization techniques have become popular for optimizing expensive-to-evaluate black-box functions due to their non-myopic qualities. Entropy Search and Predictive Entropy Search both consider the entropy over the optimum in the input space, while the recent Max-value Entropy Search considers the entropy over the optimal value in the output space. We propose Joint Entropy Search (JES), a novel information-theoretic acquisition function that considers an entirely new quantity, namely the entropy over the joint optimal probability density over both input and output space. To incorporate this information, we consider the reduction in entropy from conditioning on fantasized optimal input/output pairs. The resulting approach primarily relies on standard GP machinery and removes complex approximations typically associated with information-theoretic methods. With minimal computational overhead, JES shows superior decision-making, and yields state-of-the-art performance for information-theoretic approaches across a wide suite of tasks. As a light-weight approach with superior results, JES provides a new go-to acquisition function for Bayesian optimization.
• Abstract（参考訳）: 情報理論ベイズ最適化技術は、その非光学的特性により、コスト対評価のブラックボックス関数の最適化に人気がある。 エントロピー探索と予測エントロピー探索はどちらも入力空間の最適値上のエントロピーを、最近のマックス値エントロピー探索は出力空間の最適値上のエントロピーを考える。 本稿では,入力空間と出力空間の両面での最適確率密度に対するエントロピーという,全く新しい量を考える新しい情報理論獲得関数であるジョイントエントロピー探索(JES)を提案する。 この情報を取り入れるために,最適入力/出力ペアの条件付けによるエントロピーの低減を検討する。 結果として得られるアプローチは、主に標準gp機械に依存し、情報理論の手法に関連する複雑な近似を取り除く。 計算オーバーヘッドが最小限であれば、JESは優れた意思決定を示し、幅広いタスクにまたがる情報理論的なアプローチに対して最先端のパフォーマンスをもたらす。 優れた結果を持つ軽量なアプローチとして、JESはベイズ最適化のための新しいゴーツー獲得関数を提供する。

関連論文リスト

• Asymptotically Optimal Change Detection for Unnormalized Pre- and Post-Change Distributions [65.38208224389027]
  本稿では,非正規化前および後の変化分布のみがアクセス可能である場合にのみ,変化を検出する問題に対処する。 提案手法は,最適性能を示すことが知られている累積サム統計量の推定に基づく。
  論文  参考訳（メタデータ） (2024-10-18T17:13:29Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Halfway Escape Optimization: A Quantum-Inspired Solution for General Optimization Problems [6.3816899727206895]
  本稿ではまず,一般最適化問題に対処する量子インスパイアされたメタヒューリスティックであるHalfway Escape Optimization (HEO)アルゴリズムを提案する。 HEO機構の導入後,大規模な最適化アルゴリズムに対して,HEOの性能を総合的に評価する。 圧力容器設計および管状カラム設計におけるHEOの試験は、その実現可能性とリアルタイム応用の可能性について推測する。
  論文  参考訳（メタデータ） (2024-05-05T08:43:07Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Bayesian Optimization with Informative Covariance [13.113313427848828]
  探索空間の特定の領域の好みを符号化するために,非定常性を利用した新しい情報共分散関数を提案する。 提案した関数は,より弱い事前情報の下でも,ハイ次元でのベイズ最適化のサンプル効率を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-08-04T15:05:11Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
  本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。 インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
  論文  参考訳（メタデータ） (2021-07-30T07:25:07Z)
• Directed particle swarm optimization with Gaussian-process-based function forecasting [15.733136147164032]
  パーティクルスワム最適化 (PSO) は、探索空間を囲む一組の候補解を、ランダム化されたステップ長を持つ最もよく知られたグローバルおよびローカルな解へ移動させる反復探索法である。 本アルゴリズムは探索的・搾取的行動に対して望ましい特性が得られることを示す。
  論文  参考訳（メタデータ） (2021-02-08T13:02:57Z)
• Cross Entropy Hyperparameter Optimization for Constrained Problem Hamiltonians Applied to QAOA [68.11912614360878]
  QAOA(Quantum Approximate Optimization Algorithm)のようなハイブリッド量子古典アルゴリズムは、短期量子コンピュータを実用的に活用するための最も奨励的なアプローチの1つである。 このようなアルゴリズムは通常変分形式で実装され、古典的な最適化法と量子機械を組み合わせて最適化問題の優れた解を求める。 本研究では,クロスエントロピー法を用いてランドスケープを形作り,古典的パラメータがより容易により良いパラメータを発見でき,その結果,性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-03-11T13:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。