論文の概要: Nonmyopic Global Optimisation via Approximate Dynamic Programming

• arxiv url: http://arxiv.org/abs/2412.04882v1
• Date: Fri, 06 Dec 2024 09:25:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:57:37.006892
• Title: Nonmyopic Global Optimisation via Approximate Dynamic Programming
• Title（参考訳）: 近似動的プログラミングによる非論理的グローバル最適化
• Authors: Filippo Airaldi, Bart De Schutter, Azita Dabiri,
• Abstract要約: 我々はIDWとRBFに基づくグローバルな最適化に適した新しい非筋力的獲得戦略を導入する。 具体的には、ロールアウトやマルチステップシナリオベースの最適化スキームを含む動的プログラミングベースのパラダイムを開発する。
• 参考スコア（独自算出の注目度）: 14.389086937116582
• License:
• Abstract: Unconstrained global optimisation aims to optimise expensive-to-evaluate black-box functions without gradient information. Bayesian optimisation, one of the most well-known techniques, typically employs Gaussian processes as surrogate models, leveraging their probabilistic nature to balance exploration and exploitation. However, Gaussian processes become computationally prohibitive in high-dimensional spaces. Recent alternatives, based on inverse distance weighting (IDW) and radial basis functions (RBFs), offer competitive, computationally lighter solutions. Despite their efficiency, both traditional global and Bayesian optimisation strategies suffer from the myopic nature of their acquisition functions, which focus solely on immediate improvement neglecting future implications of the sequential decision making process. Nonmyopic acquisition functions devised for the Bayesian setting have shown promise in improving long-term performance. Yet, their use in deterministic strategies with IDW and RBF remains unexplored. In this work, we introduce novel nonmyopic acquisition strategies tailored to IDW- and RBF-based global optimisation. Specifically, we develop dynamic programming-based paradigms, including rollout and multi-step scenario-based optimisation schemes, to enable lookahead acquisition. These methods optimise a sequence of query points over a horizon (instead of only at the next step) by predicting the evolution of the surrogate model, inherently managing the exploration-exploitation trade-off in a systematic way via optimisation techniques. The proposed approach represents a significant advance in extending nonmyopic acquisition principles, previously confined to Bayesian optimisation, to the deterministic framework. Empirical results on synthetic and hyperparameter tuning benchmark problems demonstrate that these nonmyopic methods outperform conventional myopic approaches.
• Abstract（参考訳）: 制約のないグローバル最適化は、勾配情報なしで高価なブラックボックス関数を最適化することを目的としている。 ベイズ最適化(ベイズ最適化、英: Bayesian optimization、英: Bayesian optimization)は、一般的にはシュロゲートモデルとしてガウス過程を使用し、その確率的性質を利用して探索と利用のバランスをとる手法である。 しかし、ガウス過程は高次元空間において計算的に禁止される。 最近の選択肢は、逆距離重み付け(IDW)と放射基底関数(RBF)に基づいており、競争的で計算的に軽量なソリューションを提供している。 効率性にもかかわらず、伝統的なグローバル最適化戦略とベイズ最適化戦略は、買収関数の神秘的な性質に悩まされており、これは、シーケンシャルな意思決定プロセスの将来の影響を無視した即時改善にのみ焦点をあてている。 ベイジアン設定のために考案された非明視的獲得関数は、長期的なパフォーマンス向上に有望であることが示されている。 しかし、IDW と RBF を用いた決定論的戦略におけるそれらの利用は、まだ探索されていない。 本稿では,IDWおよびRBFに基づくグローバルな最適化に適した新しい非筋力的獲得戦略を紹介する。 具体的には、ルックアヘッド獲得を可能にするために、ロールアウトやマルチステップシナリオベースの最適化スキームを含む動的プログラミングベースのパラダイムを開発する。 これらの手法は、サロゲートモデルの進化を予測して、水平線上のクエリポイントのシーケンスを最適化する(次のステップのみではなく)。 提案手法は、それまでベイズ最適化に限られていた非神秘的獲得原則を決定論的枠組みに拡張する上で大きな進歩を示している。 合成およびハイパーパラメータチューニングベンチマーク問題に関する実証的な結果は、これらの非ミオピック法が従来のミオピック法よりも優れていることを示している。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
  本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。 我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。 本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2024-03-01T14:55:22Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
  ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。 新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
  論文  参考訳（メタデータ） (2024-01-30T14:16:06Z)
• Pseudo-Bayesian Optimization [7.556071491014536]
  ブラックボックス最適化の収束を保証するために最小限の要件を課す公理的枠組みについて検討する。 我々は、単純な局所回帰と、不確実性を定量化するために適切な「ランダム化事前」構造を用いることが、収束を保証するだけでなく、常に最先端のベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-15T07:55:28Z)
• Robust expected improvement for Bayesian optimization [1.8130068086063336]
  本稿では,BO/GPフレームワークに敵対的手法を組み込む,堅牢な予測改善(REI)と呼ばれる代理モデルとアクティブラーニング手法を提案する。 ベンチマーク・シンセティック・エクササイズと、様々な複雑さの実際の問題について、いくつかの競合相手と比較し、比較する。
  論文  参考訳（メタデータ） (2023-02-16T22:34:28Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Are we Forgetting about Compositional Optimisers in Bayesian Optimisation? [66.39551991177542]
  本稿では,グローバル最適化のためのサンプル手法を提案する。 この中、重要なパフォーマンス決定の自明さは、取得機能を最大化することです。 3958実験における機能最適化手法の実証的利点を強調する。
  論文  参考訳（メタデータ） (2020-12-15T12:18:38Z)
• Real-Time Optimization Meets Bayesian Optimization and Derivative-Free Optimization: A Tale of Modifier Adaptation [0.0]
  本稿では,不確実なプロセスのリアルタイム最適化において,プラントモデルミスマッチを克服するための修飾子適応方式について検討する。 提案したスキームは物理モデルを組み込んでおり、探査中のリスクを最小限に抑えるために信頼領域のアイデアに依存している。 取得関数の使用、プロセスノイズレベルを知る、または名目上のプロセスモデルを指定する利点を図示する。
  論文  参考訳（メタデータ） (2020-09-18T12:57:17Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。