論文の概要: Expected Improvement versus Predicted Value in Surrogate-Based Optimization

• arxiv url: http://arxiv.org/abs/2001.02957v2
• Date: Mon, 17 Feb 2020 08:38:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 04:29:41.105323
• Title: Expected Improvement versus Predicted Value in Surrogate-Based Optimization
• Title（参考訳）: サーロゲート最適化における期待改善と予測値
• Authors: Frederik Rehbach and Martin Zaefferer and Boris Naujoks and Thomas Bartz-Beielstein
• Abstract要約: サーロゲートに基づく最適化は、次にどの点を評価するかを決定するために、いわゆるインフィル基準に依存する。 期待されている改善の人気は、実証的に検証された性能よりも理論上の特性に大きく依存していると論じる。
• 参考スコア（独自算出の注目度）: 0.1529342790344802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Surrogate-based optimization relies on so-called infill criteria (acquisition functions) to decide which point to evaluate next. When Kriging is used as the surrogate model of choice (also called Bayesian optimization), one of the most frequently chosen criteria is expected improvement. We argue that the popularity of expected improvement largely relies on its theoretical properties rather than empirically validated performance. Few results from the literature show evidence, that under certain conditions, expected improvement may perform worse than something as simple as the predicted value of the surrogate model. We benchmark both infill criteria in an extensive empirical study on the `BBOB' function set. This investigation includes a detailed study of the impact of problem dimensionality on algorithm performance. The results support the hypothesis that exploration loses importance with increasing problem dimensionality. A statistical analysis reveals that the purely exploitative search with the predicted value criterion performs better on most problems of five or higher dimensions. Possible reasons for these results are discussed. In addition, we give an in-depth guide for choosing the infill criteria based on prior knowledge about the problem at hand, its dimensionality, and the available budget.
• Abstract（参考訳）: surrogateベースの最適化は、次にどのポイントを評価するかを決定するために、いわゆるインフィル基準(獲得関数)に依存している。 クリギングが選択代理モデル(ベイズ最適化とも呼ばれる)として使われるとき、最も頻繁に選択される基準の一つが期待される改善である。 期待されている改善の人気は、実証的に検証された性能よりも理論上の特性に大きく依存していると論じる。 文献から得られた結果はほとんどなく、ある条件下では、期待される改善は、サロゲートモデルの予測値と同じくらい単純なものよりも悪化する可能性があることを示す。 BBOB関数セットに関する広範な実証研究において,両入力基準をベンチマークした。 本研究は,問題次元がアルゴリズム性能に与える影響に関する詳細な研究を含む。 結果は,探索が問題次元の増大とともに重要性を失うという仮説を支持する。 統計解析により、予測値基準による純粋に搾取的探索は、5次元以上の問題の多くにおいてよりよく機能することが明らかとなった。 これらの結果の考えられる理由について論じる。 さらに,問題に対する事前知識,その次元,利用可能な予算に基づいて,インフィル基準を選択するための詳細なガイドを提供する。

関連論文リスト

• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
  本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
  論文  参考訳（メタデータ） (2023-02-06T16:55:37Z)
• Bayesian Optimization with Conformal Prediction Sets [44.565812181545645]
  コンフォーマル予測(Conformal prediction)は、不確実な定量化手法であり、不特定モデルに対してもカバレッジを保証する。 本稿では,モデルの妥当性が保証された検索空間の領域にクエリを誘導する共形ベイズ最適化を提案する。 多くの場合、クエリのカバレッジはサンプル効率を損なうことなく大幅に改善できる。
  論文  参考訳（メタデータ） (2022-10-22T17:01:05Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Rectified Max-Value Entropy Search for Bayesian Optimization [54.26984662139516]
  我々は、相互情報の概念に基づいて、修正されたMES取得関数を開発する。 その結果、RMESは、いくつかの合成関数ベンチマークと実世界の最適化問題において、MESよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2022-02-28T08:11:02Z)
• Careful! Training Relevance is Real [0.7742297876120561]
  我々は、トレーニングの妥当性を強制するために設計された制約を提案する。 提案した制約を加えることで,ソリューションの品質が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-01-12T11:54:31Z)
• The Perils of Learning Before Optimizing [16.97597806975415]
  本稿では,最適化タスクを通じて予測モデルを識別することで,エンドツーエンドで予測モデルを学習する方法を示す。 2段階のアプローチとエンドツーエンドのアプローチのパフォーマンスギャップは、最適化における相関の概念の強調と密接に関係していることが示される。
  論文  参考訳（メタデータ） (2021-06-18T20:43:47Z)
• A sampling criterion for constrained Bayesian optimization with uncertainties [0.0]
  本稿では,関数を最適化し,制約を満たす確率制約最適化の問題について考察する。 このような問題に対処するために,新しいベイズ最適化法を提案する。 これは、不確実性が入力の一部から生じる状況に適用され、共同制御された制御されていない入力空間における取得基準を定義することができる。
  論文  参考訳（メタデータ） (2021-03-09T20:35:56Z)
• Finding Optimal Points for Expensive Functions Using Adaptive RBF-Based Surrogate Model Via Uncertainty Quantification [11.486221800371919]
  本稿では,適応的放射基底関数 (RBF) を用いた不確実性定量化によるサロゲートモデルを用いた新しいグローバル最適化フレームワークを提案する。 まずRBFに基づくベイズ代理モデルを用いて真の関数を近似し、新しい点が探索されるたびにRBFのパラメータを適応的に推定し更新することができる。 次に、モデル誘導選択基準を用いて、関数評価のための候補セットから新しい点を識別する。
  論文  参考訳（メタデータ） (2020-01-19T16:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。