論文の概要: Rectified Max-Value Entropy Search for Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2202.13597v1
• Date: Mon, 28 Feb 2022 08:11:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 14:54:58.901393
• Title: Rectified Max-Value Entropy Search for Bayesian Optimization
• Title（参考訳）: ベイズ最適化のための修正最大値エントロピー探索
• Authors: Quoc Phong Nguyen, Bryan Kian Hsiang Low, Patrick Jaillet
• Abstract要約: 我々は、相互情報の概念に基づいて、修正されたMES取得関数を開発する。 その結果、RMESは、いくつかの合成関数ベンチマークと実世界の最適化問題において、MESよりも一貫した改善を示している。
• 参考スコア（独自算出の注目度）: 54.26984662139516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although the existing max-value entropy search (MES) is based on the widely celebrated notion of mutual information, its empirical performance can suffer due to two misconceptions whose implications on the exploration-exploitation trade-off are investigated in this paper. These issues are essential in the development of future acquisition functions and the improvement of the existing ones as they encourage an accurate measure of the mutual information such as the rectified MES (RMES) acquisition function we develop in this work. Unlike the evaluation of MES, we derive a closed-form probability density for the observation conditioned on the max-value and employ stochastic gradient ascent with reparameterization to efficiently optimize RMES. As a result of a more principled acquisition function, RMES shows a consistent improvement over MES in several synthetic function benchmarks and real-world optimization problems.
• Abstract（参考訳）: 既存の最大値エントロピー探索 (mes) は広く知られた相互情報の概念に基づいているが, その経験的性能は, 探索と探索のトレードオフに影響を及ぼす2つの誤解から生じる。 これらの問題は,本研究で展開する修正MES(RMES)取得機能などの相互情報の正確な測定を促進するため,将来的な獲得機能の開発や既存のものの改善に不可欠である。 MESの評価とは異なり、最大値に条件付き観測値に対する閉形式確率密度を導出し、再パラメータ化による確率勾配上昇を用いてRMESを効率的に最適化する。 より原理化された取得関数の結果、RMESはいくつかの合成関数ベンチマークと実世界の最適化問題においてMESよりも一貫した改善を示す。

関連論文リスト

• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• Variational Inference of Parameters in Opinion Dynamics Models [9.51311391391997]
  この研究は、変数推論を用いて、意見力学 ABM のパラメータを推定する。 我々は推論プロセスを自動微分に適した最適化問題に変換する。 提案手法は, シミュレーションベース法とMCMC法より, マクロ的(有界信頼区間とバックファイア閾値)と微視的(200ドル, エージェントレベルの役割)の両方を正確に推定する。
  論文  参考訳（メタデータ） (2024-03-08T14:45:18Z)
• Variational Entropy Search for Adjusting Expected Improvement [3.04585143845864]
  期待改善(EI)はブラックボックス機能において最もよく利用される取得機能である。 本研究では,情報理論の原理を取り入れた変分エントロピー探索法とVES-Gammaアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-17T17:37:53Z)
• Unexpected Improvements to Expected Improvement for Bayesian Optimization [23.207497480389208]
  提案するLogEIは,メンバが標準値と同一あるいはほぼ等しい最適値を持つが,数値的最適化が極めて容易な,新たな獲得関数群である。 実験結果から,LogEIファミリーの獲得関数は,標準関数の最適化性能を大幅に向上し,最近の最先端の獲得関数の性能に匹敵する結果が得られた。
  論文  参考訳（メタデータ） (2023-10-31T17:59:56Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Counterfactual Explanations for Arbitrary Regression Models [8.633492031855655]
  ベイズ最適化に基づく対実的説明法(CFE)を提案する。 提案手法は,任意の回帰モデルと特徴空間や動作可能なリコースなどの制約をサポートする,グローバル収束探索アルゴリズムである。
  論文  参考訳（メタデータ） (2021-06-29T09:53:53Z)
• A maximum-entropy approach to off-policy evaluation in average-reward MDPs [54.967872716145656]
  この研究は、無限水平非カウントマルコフ決定過程(MDPs)における関数近似を伴うオフ・ポリティ・アセスメント(OPE)に焦点を当てる。 提案手法は,第1の有限サンプル OPE 誤差境界であり,既存の結果がエピソードおよびディスカウントケースを超えて拡張される。 この結果から,教師あり学習における最大エントロピー的アプローチを並列化して,十分な統計値を持つ指数関数型家族分布が得られた。
  論文  参考訳（メタデータ） (2020-06-17T18:13:37Z)
• Finding Optimal Points for Expensive Functions Using Adaptive RBF-Based Surrogate Model Via Uncertainty Quantification [11.486221800371919]
  本稿では,適応的放射基底関数 (RBF) を用いた不確実性定量化によるサロゲートモデルを用いた新しいグローバル最適化フレームワークを提案する。 まずRBFに基づくベイズ代理モデルを用いて真の関数を近似し、新しい点が探索されるたびにRBFのパラメータを適応的に推定し更新することができる。 次に、モデル誘導選択基準を用いて、関数評価のための候補セットから新しい点を識別する。
  論文  参考訳（メタデータ） (2020-01-19T16:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。