論文の概要: Bayesian Optimization for Non-Convex Two-Stage Stochastic Optimization Problems

• arxiv url: http://arxiv.org/abs/2408.17387v1
• Date: Fri, 30 Aug 2024 16:26:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 14:46:39.857291
• Title: Bayesian Optimization for Non-Convex Two-Stage Stochastic Optimization Problems
• Title（参考訳）: 非凸二段階確率最適化問題のベイズ最適化
• Authors: Jack M. Buckingham, Ivo Couckuyt, Juergen Branke,
• Abstract要約: 知識に基づく獲得関数を定式化し,第1段と第2段の変数を協調的に最適化する。 可変型間の寸法と長さの差が2段階アルゴリズムの非効率性をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 2.9016548477524156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization is a sample-efficient method for solving expensive, black-box optimization problems. Stochastic programming concerns optimization under uncertainty where, typically, average performance is the quantity of interest. In the first stage of a two-stage problem, here-and-now decisions must be made in the face of this uncertainty, while in the second stage, wait-and-see decisions are made after the uncertainty has been resolved. Many methods in stochastic programming assume that the objective is cheap to evaluate and linear or convex. In this work, we apply Bayesian optimization to solve non-convex, two-stage stochastic programs which are expensive to evaluate. We formulate a knowledge-gradient-based acquisition function to jointly optimize the first- and second-stage variables, establish a guarantee of asymptotic consistency and provide a computationally efficient approximation. We demonstrate comparable empirical results to an alternative we formulate which alternates its focus between the two variable types, and superior empirical results over the standard, naive, two-step benchmark. We show that differences in the dimension and length scales between the variable types can lead to inefficiencies of the two-step algorithm, while the joint and alternating acquisition functions perform well in all problems tested. Experiments are conducted on both synthetic and real-world examples.
• Abstract（参考訳）: ベイズ最適化は、高価なブラックボックス最適化問題を解くためのサンプリング効率のよい方法である。 確率的プログラミングは、通常、平均的なパフォーマンスが関心の量である不確実性の下で最適化する。 2段階の問題の第一段階では、この不確実性に直面して、ここで、今、現在、決定をしなければならないが、第二段階では、不確実性が解決された後に、待ち、そして見る決定を行う。 確率的プログラミングにおける多くの手法は、目的が線形あるいは凸性の評価や評価に安価であると仮定する。 本研究では,非凸二段階確率計画の解法としてベイズ最適化を適用する。 知識勾配に基づく獲得関数を定式化し、第1段と第2段の変数を協調的に最適化し、漸近的一貫性の保証を確立し、計算効率の良い近似を提供する。 2つの変数タイプ間の焦点を交互に置き換える代替式と同等な経験結果を示し、標準の2段階ベンチマークよりも優れた経験結果を示す。 可変型間の寸法と長さの差が2段階のアルゴリズムの非効率性に繋がることを示す一方で,結合および交互獲得関数は試験された全ての問題において良好に機能することを示した。 実物と実物の両方で実験を行う。

関連論文リスト

• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• BO4IO: A Bayesian optimization approach to inverse optimization with uncertainty quantification [5.031974232392534]
  この研究はデータ駆動逆最適化(IO)に対処する。 目的は最適化モデルにおける未知のパラメータを、最適あるいは準最適と仮定できる観測された決定から推定することである。
  論文  参考訳（メタデータ） (2024-05-28T06:52:17Z)
• Bayesian Optimization with Conformal Prediction Sets [44.565812181545645]
  コンフォーマル予測(Conformal prediction)は、不確実な定量化手法であり、不特定モデルに対してもカバレッジを保証する。 本稿では,モデルの妥当性が保証された検索空間の領域にクエリを誘導する共形ベイズ最適化を提案する。 多くの場合、クエリのカバレッジはサンプル効率を損なうことなく大幅に改善できる。
  論文  参考訳（メタデータ） (2022-10-22T17:01:05Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Accelerating Stochastic Probabilistic Inference [1.599072005190786]
  変分推論(SVI)は確率モデルの良好な後部近似を求める能力により、ますます魅力的になっている。 最先端のSVIアルゴリズムのほとんど全てが一階最適化に基づいており、しばしば収束率の低下に悩まされている。 我々は二階法と変分推論のギャップを二階法に基づく変分推論手法によって埋める。
  論文  参考訳（メタデータ） (2022-03-15T01:19:12Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems [12.010310883787911]
  我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。 実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
  論文  参考訳（メタデータ） (2020-05-19T07:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。