論文の概要: Learning Solutions of Stochastic Optimization Problems with Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2406.03082v1
- Date: Wed, 5 Jun 2024 09:11:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 19:09:43.005527
- Title: Learning Solutions of Stochastic Optimization Problems with Bayesian Neural Networks
- Title（参考訳）: ベイズニューラルネットワークを用いた確率最適化問題の学習解
- Authors: Alan A. Lahoud, Erik Schaffernicht, Johannes A. Stork,
- Abstract要約: 多くの実世界の設定において、これらのパラメータのいくつかは未知または不確かである。
最近の研究は、利用可能なコンテキスト特徴を用いて未知のパラメータの値を予測することに焦点を当てている。
本稿では、不確実性ニューラルネットワーク(BNN)をモデル化し、この不確実性を数学的解法に伝達する新しい枠組みを提案する。
- 参考スコア（独自算出の注目度）: 4.202961704179733
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mathematical solvers use parametrized Optimization Problems (OPs) as inputs to yield optimal decisions. In many real-world settings, some of these parameters are unknown or uncertain. Recent research focuses on predicting the value of these unknown parameters using available contextual features, aiming to decrease decision regret by adopting end-to-end learning approaches. However, these approaches disregard prediction uncertainty and therefore make the mathematical solver susceptible to provide erroneous decisions in case of low-confidence predictions. We propose a novel framework that models prediction uncertainty with Bayesian Neural Networks (BNNs) and propagates this uncertainty into the mathematical solver with a Stochastic Programming technique. The differentiable nature of BNNs and differentiable mathematical solvers allow for two different learning approaches: In the Decoupled learning approach, we update the BNN weights to increase the quality of the predictions' distribution of the OP parameters, while in the Combined learning approach, we update the weights aiming to directly minimize the expected OP's cost function in a stochastic end-to-end fashion. We do an extensive evaluation using synthetic data with various noise properties and a real dataset, showing that decisions regret are generally lower (better) with both proposed methods.
- Abstract（参考訳）: 数学的解法はパラメータ最適化問題(OP)を入力として最適決定を与える。
多くの実世界の設定において、これらのパラメータのいくつかは未知または不確かである。
近年の研究では、これらの未知パラメータの価値を予測することに焦点を当てており、エンド・ツー・エンドの学習アプローチを採用することで、意思決定の後悔を減らすことを目的としている。
しかし、これらの手法は予測の不確実性を無視し、従って、低信頼な予測の場合、数学的解決者が誤った決定を下す可能性がある。
本稿では,ベイズニューラルネットワーク(BNN)による予測の不確かさをモデル化し,確率計画法を用いて数学的解法にその不確かさを伝達する新しい枠組みを提案する。
分離学習アプローチでは、予測値のOPパラメータの分布の質を高めるために、BNN重みを更新する一方、組合せ学習アプローチでは、予測値OPのコスト関数を確率的エンドツーエンドで直接最小化することを目的とした重みを更新する。
様々なノイズ特性を持つ合成データと実データセットを用いて広範囲な評価を行い, 両手法を比較検討した。
関連論文リスト
- End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T16:33:35Z) - Decision-focused predictions via pessimistic bilevel optimization: a computational study [0.7499722271664147]
最適化パラメータの不確かさは、重要かつ長年にわたる課題である。
予測モデルを構築して,それを用いた意思決定の文言的指標を測定します。
トラクタビリティを実現するために,様々な計算手法を示す。
論文 参考訳（メタデータ） (2023-12-29T15:05:00Z) - Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and
Optimization [59.386153202037086]
Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。
本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
論文 参考訳（メタデータ） (2023-11-22T01:32:06Z) - End-to-End Learning for Stochastic Optimization: A Bayesian Perspective [9.356870107137093]
最適化におけるエンド・ツー・エンド・ラーニングの原則的アプローチを開発する。
本稿では,標準エンドツーエンド学習アルゴリズムがベイズ解釈を認め,ベイズ後の行動地図を訓練することを示す。
次に、意思決定マップの学習のための新しいエンドツーエンド学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-07T05:55:45Z) - A Benchmark on Uncertainty Quantification for Deep Learning Prognostics [0.0]
診断学的な深層学習のための不確実性定量化の分野における最新の発展のいくつかを評価する。
これには、ベイズニューラルネットワーク(BNN)の最先端の変分推論アルゴリズムや、モンテカルロ・ドロップアウト(MCD)、ディープアンサンブル(DE)、ヘテロセダスティックニューラルネットワーク(HNN)などの一般的な代替品が含まれる。
この手法の性能は、NASA NCMAPSSの航空機エンジン用データセットのサブセットで評価される。
論文 参考訳（メタデータ） (2023-02-09T16:12:47Z) - Learning MDPs from Features: Predict-Then-Optimize for Sequential
Decision Problems by Reinforcement Learning [52.74071439183113]
我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。
2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
論文 参考訳（メタデータ） (2021-06-06T23:53:31Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳（メタデータ） (2021-03-15T17:26:34Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-06-18T19:11:54Z) - Decision Trees for Decision-Making under the Predict-then-Optimize
Framework [7.842152902652215]
本稿では,予測最適化フレームワークに基づく意思決定問題に対する決定木の利用について考察する。
このフレームワークの自然損失関数は、予測された入力パラメータによって誘導される決定の最適度を測定することである。
本研究では,SPOT(SPO Trees)と呼ばれる抽出可能な手法を提案する。
論文 参考訳（メタデータ） (2020-02-29T23:04:59Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳（メタデータ） (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。