論文の概要: Transition Constrained Bayesian Optimization via Markov Decision Processes

• arxiv url: http://arxiv.org/abs/2402.08406v3
• Date: Thu, 31 Oct 2024 11:47:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:57:11.056334
• Title: Transition Constrained Bayesian Optimization via Markov Decision Processes
• Title（参考訳）: マルコフ決定過程による遷移制約ベイズ最適化
• Authors: Jose Pablo Folch, Calvin Tsay, Robert M Lee, Behrang Shafei, Weronika Ormaniec, Andreas Krause, Mark van der Wilk, Ruth Misener, Mojmír Mutný,
• Abstract要約: この研究はマルコフ決定過程の枠組みを通じて古典的ベイズ最適化を拡張した。 我々は,地平線全体に向けて計画する政策を得るため,強化学習を用いて実用機能の抽出可能な線形化を反復的に解決する。 本稿では, 化学反応器最適化, 情報経路計画, 機械校正, その他の合成例の応用例を紹介する。
• 参考スコア（独自算出の注目度）: 40.42634046766111
• License:
• Abstract: Bayesian optimization is a methodology to optimize black-box functions. Traditionally, it focuses on the setting where you can arbitrarily query the search space. However, many real-life problems do not offer this flexibility; in particular, the search space of the next query may depend on previous ones. Example challenges arise in the physical sciences in the form of local movement constraints, required monotonicity in certain variables, and transitions influencing the accuracy of measurements. Altogether, such transition constraints necessitate a form of planning. This work extends classical Bayesian optimization via the framework of Markov Decision Processes. We iteratively solve a tractable linearization of our utility function using reinforcement learning to obtain a policy that plans ahead for the entire horizon. This is a parallel to the optimization of an acquisition function in policy space. The resulting policy is potentially history-dependent and non-Markovian. We showcase applications in chemical reactor optimization, informative path planning, machine calibration, and other synthetic examples.
• Abstract（参考訳）: ベイズ最適化はブラックボックス関数を最適化する手法である。 従来は、検索スペースを任意にクエリできる設定に重点を置いていた。 しかし、現実の多くの問題は、この柔軟性を提供していない。特に、次のクエリの検索空間は、以前のものに依存しているかもしれない。 物理科学において、局所的な運動の制約、特定の変数の単調性、測定の正確性に影響を与える遷移といった形で生じる。 いずれにせよ、そのような移行の制約は計画の形式を必要とする。 この研究はマルコフ決定過程の枠組みを通じて古典的ベイズ最適化を拡張した。 我々は,地平線全体に向けて計画する政策を得るため,強化学習を用いて実用機能の抽出可能な線形化を反復的に解決する。 これは、政策空間における取得関数の最適化と平行である。 結果として得られる政策は歴史に依存し、マルコフ的でない可能性がある。 本稿では, 化学反応器最適化, 情報経路計画, 機械校正, その他の合成例の応用例を紹介する。

関連論文リスト

• A survey and benchmark of high-dimensional Bayesian optimization of discrete sequences [12.248793682283964]
  個々のブラックボックス機能を最適化することは、タンパク質工学や薬物設計など、いくつかの領域において重要である。 我々は,高次元ベイズ最適化手法と標準化されたブラックボックス関数の集合を幅広くテストするための統一的なフレームワークを開発する。 これらのベンチマークの2つのコンポーネントはそれぞれ、柔軟でスケーラブルで容易に拡張可能なソフトウェアライブラリによってサポートされています。
  論文  参考訳（メタデータ） (2024-06-07T08:39:40Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• MONGOOSE: Path-wise Smooth Bayesian Optimisation via Meta-learning [29.97648417539237]
  ブラックボックスの客観的関数を評価するコストの主な貢献は、しばしば測定のためのシステムを作成するのに必要な労力である。 本稿では, 連続評価の間隔が大きくなるにつれて, 準備コストが増大する一般的なシナリオについて考察する。 我々のアルゴリズムMONGOOSEは、メタリアントパラメトリックポリシーを用いてスムーズな最適化軌道を生成する。
  論文  参考訳（メタデータ） (2023-02-22T18:20:36Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Predict+Optimize for Packing and Covering LPs with Unknown Parameters in Constraints [5.762370982168012]
  本稿では,予測+設定のための新規かつ実用的な枠組みを提案するが,目的と制約の両方に未知のパラメータを持つ。 本稿では, 補正関数の概念と, 損失関数に付加的なペナルティ項を導入し, 真のパラメータが明らかにされた後, 推定された最適解を実現可能な解に変換する現実的なシナリオをモデル化する。 私たちのアプローチは、マンディとガンズの以前の研究にインスピレーションを受けています。
  論文  参考訳（メタデータ） (2022-09-08T09:28:24Z)
• Bayesian Optimization with Informative Covariance [13.113313427848828]
  探索空間の特定の領域の好みを符号化するために,非定常性を利用した新しい情報共分散関数を提案する。 提案した関数は,より弱い事前情報の下でも,ハイ次元でのベイズ最適化のサンプル効率を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-08-04T15:05:11Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Solving infinite-horizon POMDPs with memoryless stochastic policies in state-action space [0.0]
  完全可観測マルコフ決定過程における逆最適化は、状態-作用周波数のポリトープ上の線形プログラムと等価である。 状態空間(ROSA)における逆最適化のアプローチを提案する。 ROSAは計算効率が良く,既存の手法よりも改善できることがわかった。
  論文  参考訳（メタデータ） (2022-05-27T16:56:59Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。