論文の概要: Regional Expected Improvement for Efficient Trust Region Selection in High-Dimensional Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2412.11456v1
• Date: Mon, 16 Dec 2024 05:23:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:55:56.961297
• Title: Regional Expected Improvement for Efficient Trust Region Selection in High-Dimensional Bayesian Optimization
• Title（参考訳）: 高次元ベイズ最適化における効率的な信頼領域選択のための地域期待改善
• Authors: Nobuo Namura, Sho Takemori,
• Abstract要約: 本研究では,中～高次元設定における信頼領域ベースBOの強化を目的とした,新たな獲得機能である地域期待改善(REI)を提案する。 本稿では、REIが最適信頼領域を効果的に同定し、REIが従来のBO法や他の高次元BO法を中～高次元実世界の問題で上回っていることを実証的に証明する。
• 参考スコア（独自算出の注目度）: 7.2129390689756185
• License:
• Abstract: Real-world optimization problems often involve complex objective functions with costly evaluations. While Bayesian optimization (BO) with Gaussian processes is effective for these challenges, it suffers in high-dimensional spaces due to performance degradation from limited function evaluations. To overcome this, simplification techniques like dimensionality reduction have been employed, yet they often rely on assumptions about the problem characteristics, potentially underperforming when these assumptions do not hold. Trust-region-based methods, which avoid such assumptions, focus on local search but risk stagnation in local optima. In this study, we propose a novel acquisition function, regional expected improvement (REI), designed to enhance trust-region-based BO in medium to high-dimensional settings. REI identifies regions likely to contain the global optimum, improving performance without relying on specific problem characteristics. We provide a theoretical proof that REI effectively identifies optimal trust regions and empirically demonstrate that incorporating REI into trust-region-based BO outperforms conventional BO and other high-dimensional BO methods in medium to high-dimensional real-world problems.
• Abstract（参考訳）: 実世界の最適化問題は、しばしばコストのかかる評価を伴う複雑な客観的関数を含む。 ガウス過程を用いたベイズ最適化(BO)はこれらの課題に対して有効であるが、限られた関数評価による性能劣化により高次元空間で悩まされる。 これを解決するために、次元の減少のような単純化技術が採用されているが、しばしば問題の特徴に関する仮定に依存しており、これらの仮定が成り立たない場合、潜在的に過小評価される。 このような仮定を避けたトラストリージョンベースの手法は、局所的な探索に焦点をあてるが、局所的な最適化ではリスクが停滞する。 本研究では,中～高次元環境における信頼領域ベースBOの強化を目的とした,新たな獲得機能である地域期待改善(REI)を提案する。 REIは、グローバルな最適化を含む可能性のあるリージョンを特定し、特定の問題特性に頼ることなく、パフォーマンスを向上させる。 本稿では、REIが最適信頼領域を効果的に同定し、REIを信頼領域ベースBOに組み込むことが、中～高次元実世界の問題において従来のBO法や他の高次元BO法より優れていることを実証的に証明する理論的証明を提案する。

関連論文リスト

• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• High-dimensional Bayesian Optimization via Covariance Matrix Adaptation Strategy [16.521207412129833]
  本稿では,CMA(Covariance Matrix Adaptation)戦略を用いて局所領域を定義する手法を提案する。 この探索分布に基づいて,大域的最適である確率の高いデータポイントからなる局所領域を定義する。 提案手法は,BO,TuRBO,BAxUSなどの既存のブラックボックスBOを組み込んでグローバルな最適解を求めるメタアルゴリズムとして機能する。
  論文  参考訳（メタデータ） (2024-02-05T15:32:10Z)
• LABCAT: Locally adaptive Bayesian optimization using principal-component-aligned trust regions [0.0]
  信頼領域に基づくBOを拡張した LABCAT アルゴリズムを提案する。 このアルゴリズムは、最先端のBOや他のブラックボックス最適化アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-19T13:56:24Z)
• Constrained Bayesian Optimization with Adaptive Active Learning of Unknown Constraints [10.705151736050967]
  制約下での目的の最適化は、科学実験設計、医療療法の設計、産業プロセス最適化といった現実世界の応用において一般的なシナリオである。 一般のROIを決定するために,各側面から特定されたROIと交差する効率的なCBOフレームワークを提案する。 本稿では,実証的な証拠を通じて提案したCBOフレームワークの効率性とロバスト性を実証し,CBOアルゴリズムの実践的後悔境界を導出する根本的な課題について論じる。
  論文  参考訳（メタデータ） (2023-10-12T22:32:00Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• The Behavior and Convergence of Local Bayesian Optimization [20.568490114736818]
  局所最適化戦略は、従来のグローバル戦略と比較して高次元問題に対して強い経験的性能をもたらすことができる。 まず,局所的なアプローチの挙動を考察し,ガウス過程のサンプルパスの個々の局所解の統計値が,グローバルな手法から得られるであろうものと比較して驚くほど良好であることを示す。
  論文  参考訳（メタデータ） (2023-05-24T21:11:49Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• Optimizing Two-way Partial AUC with an End-to-end Framework [154.47590401735323]
  ROC曲線のエリア(AUC)は、機械学習にとって重要な指標である。 最近の研究は、TPAUCが既存のPartial AUCメトリクスと本質的に矛盾していることを示している。 本論文では,この新指標を最適化するための最初の試行について述べる。
  論文  参考訳（メタデータ） (2022-06-23T12:21:30Z)
• Rectified Max-Value Entropy Search for Bayesian Optimization [54.26984662139516]
  我々は、相互情報の概念に基づいて、修正されたMES取得関数を開発する。 その結果、RMESは、いくつかの合成関数ベンチマークと実世界の最適化問題において、MESよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2022-02-28T08:11:02Z)
• On the Stability of Nonlinear Receding Horizon Control: A Geometric Perspective [72.7951562665449]
  産業における非線形回帰制御(RHC)戦略の広範な採用には30年以上がかかる。 本稿では,グローバル・ジオメトリの役割を理解するための第一歩として,グローバル・ベース・コントロールの役割について述べる。
  論文  参考訳（メタデータ） (2021-03-27T22:59:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。