論文の概要: Alpha Entropy Search for New Information-based Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2411.16586v1
• Date: Mon, 25 Nov 2024 17:19:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:56.548864
• Title: Alpha Entropy Search for New Information-based Bayesian Optimization
• Title（参考訳）: 新たな情報に基づくベイズ最適化のためのアルファエントロピー探索
• Authors: Daniel Fernández-Sánchez, Eduardo C. Garrido-Merchán, Daniel Hernández-Lobato,
• Abstract要約: 我々はAlpha Entropy Search (AES)と呼ばれる新しい情報に基づく獲得関数のクラスを導入する。 AESは、KL(Kulback-Leibler)の発散を一般化するα偏差に基づいている。
• 参考スコア（独自算出の注目度）: 9.749560288448116
• License:
• Abstract: Bayesian optimization (BO) methods based on information theory have obtained state-of-the-art results in several tasks. These techniques heavily rely on the Kullback-Leibler (KL) divergence to compute the acquisition function. In this work, we introduce a novel information-based class of acquisition functions for BO called Alpha Entropy Search (AES). AES is based on the {\alpha}-divergence, that generalizes the KL divergence. Iteratively, AES selects the next evaluation point as the one whose associated target value has the highest level of the dependency with respect to the location and associated value of the global maximum of the optimization problem. Dependency is measured in terms of the {\alpha}-divergence, as an alternative to the KL divergence. Intuitively, this favors the evaluation of the objective function at the most informative points about the global maximum. The {\alpha}-divergence has a free parameter {\alpha}, which determines the behavior of the divergence, trading-off evaluating differences between distributions at a single mode, and evaluating differences globally. Therefore, different values of {\alpha} result in different acquisition functions. AES acquisition lacks a closed-form expression. However, we propose an efficient and accurate approximation using a truncated Gaussian distribution. In practice, the value of {\alpha} can be chosen by the practitioner, but here we suggest to use a combination of acquisition functions obtained by simultaneously considering a range of values of {\alpha}. We provide an implementation of AES in BOTorch and we evaluate its performance in both synthetic, benchmark and real-world experiments involving the tuning of the hyper-parameters of a deep neural network. These experiments show that the performance of AES is competitive with respect to other information-based acquisition functions such as JES, MES or PES.
• Abstract（参考訳）: 情報理論に基づくベイズ最適化(BO)手法は、いくつかのタスクにおいて最先端の結果を得た。 これらの手法は、取得関数を計算するためにKL(Kullback-Leibler)の発散に大きく依存している。 そこで本研究では,Alpha Entropy Search (AES) と呼ばれるBOのための情報に基づく新たな取得機能について紹介する。 AES は KL の発散を一般化する {\alpha}-発散に基づいている。 繰り返して、AESは、最適化問題の大域的最大値の位置及び関連値に対して、関連する目標値が依存性の最高レベルを有するものとして次の評価点を選択する。 依存度は KL の発散の代替として {\alpha} の発散の観点で測定される。 直感的には、これは大域的最大点に関する最も情報的な点における目的関数の評価を好んでいる。 {\alpha}-分割は自由パラメータ {\alpha} を持ち、分散の挙動を決定し、単一モードでの分布間の差異を評価し、世界規模で差異を評価する。 したがって、異なる値 {\alpha {\displaystyle {\alpha} は異なる取得関数をもたらす。 AES の取得にはクローズドフォーム表現が欠けている。 しかし,ガウス分布を用いた効率的かつ高精度な近似法を提案する。 実際には、 {\alpha {\displaystyle {\alpha} の値は実践者によって選択できるが、ここでは、同時に {\alpha {\displaystyle {\alpha} の値の範囲を考慮して得られる獲得関数の組み合わせを使うことを提案する。 我々は,BOTorchにおけるAESの実装を提案し,その性能を,ディープニューラルネットワークのハイパーパラメータのチューニングを含む,合成,ベンチマークおよび実世界の実験で評価する。 これらの実験により, AESの性能は, JES, MES, PESといった他の情報ベース獲得機能と競合することが示された。

関連論文リスト

• FunBO: Discovering Acquisition Functions for Bayesian Optimization with FunSearch [21.41322548859776]
  本稿では、FunBOを用いて、コンピュータコードで書かれた新しい取得関数を学習する方法を示す。 本稿では,FunBOが関数のトレーニング分布の内外をよく一般化するAFを特定する方法を示す。
  論文  参考訳（メタデータ） (2024-06-07T10:49:59Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Physics Inspired Hybrid Attention for SAR Target Recognition [61.01086031364307]
  本稿では,物理にヒントを得たハイブリットアテンション(PIHA)機構と,この問題に対処するためのOFA評価プロトコルを提案する。 PIHAは、物理的情報の高レベルなセマンティクスを活用して、ターゲットの局所的なセマンティクスを認識した特徴群を活性化し、誘導する。 提案手法は,ASCパラメータが同じ12のテストシナリオにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-27T14:39:41Z)
• Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
  政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。 モデルに基づくベイズ強化学習の観点から問題を考察する。 本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:59:19Z)
• Joint Entropy Search for Multi-objective Bayesian Optimization [0.0]
  本稿では,統合エントロピー探索(Joint Entropy Search)と呼ばれるBOのための情報理論獲得関数を提案する。 本稿では, ハイパーボリュームとその重み付き変種の観点から, 合成および実世界の諸問題に対するこの新しいアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2022-10-06T13:19:08Z)
• A Stochastic Bundle Method for Interpolating Networks [18.313879914379008]
  本稿では,実験的な損失をゼロにすることができるディープニューラルネットワークのトレーニング手法を提案する。 各イテレーションにおいて,本手法は目的学習近似のバンドルとして知られる最大線形近似を構成する。
  論文  参考訳（メタデータ） (2022-01-29T23:02:30Z)
• PER-ETD: A Polynomially Efficient Emphatic Temporal Difference Learning Method [49.93717224277131]
  PEriodically Restarted-ETD(PEriodically Restarted-ETD)と呼ばれる新しいETD手法を提案する。 PER-ETD は ETD と同じ所望の固定点に収束するが, 指数的なサンプルの複雑性は向上する。
  論文  参考訳（メタデータ） (2021-10-13T17:40:12Z)
• APS: Active Pretraining with Successor Features [96.24533716878055]
  非エントロピーと後継指標であるHansenFastを再解釈して組み合わせることで、難解な相互情報を効率的に最適化できることを示す。 提案手法は,非エントロピーを用いて環境を探索し,探索したデータを効率的に活用して動作を学習する。
  論文  参考訳（メタデータ） (2021-08-31T16:30:35Z)
• Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
  本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。 インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
  論文  参考訳（メタデータ） (2021-07-30T07:25:07Z)
• Stochastic Optimization of Areas Under Precision-Recall Curves with Provable Convergence [66.83161885378192]
  ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。 本稿では,深層学習のためのAUPRCの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T06:22:21Z)
• Practical Bayesian Optimization of Objectives with Conditioning Variables [1.0497128347190048]
  ユーザが複数の問題に直面している場合、状態変数に対してそれぞれを条件付きで最適化する必要がある場合を考える。 目的間の類似性は、それぞれの目的を2つの方法で最適化する。 本稿では条件最適化のためのフレームワークであるConBOを提案する。
  論文  参考訳（メタデータ） (2020-02-23T22:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。