論文の概要: End-to-End Stochastic Optimization with Energy-Based Model
- arxiv url: http://arxiv.org/abs/2211.13837v1
- Date: Fri, 25 Nov 2022 00:14:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 18:33:00.100386
- Title: End-to-End Stochastic Optimization with Energy-Based Model
- Title（参考訳）: エネルギーモデルを用いたエンドツーエンド確率最適化
- Authors: Lingkai Kong, Jiaming Cui, Yuchen Zhuang, Rui Feng, B. Aditya Prakash,
Chao Zhang
- Abstract要約: 近年,未知パラメータを含む客観的最適化問題に対して,DFL(Decision- Focus Learning)が提案されている。
エネルギーモデルを用いた層最適化のための汎用的で効率的なDFL手法SO-EBMを提案する。
- 参考スコア（独自算出の注目度）: 18.60842637575249
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Decision-focused learning (DFL) was recently proposed for stochastic
optimization problems that involve unknown parameters. By integrating
predictive modeling with an implicitly differentiable optimization layer, DFL
has shown superior performance to the standard two-stage predict-then-optimize
pipeline. However, most existing DFL methods are only applicable to convex
problems or a subset of nonconvex problems that can be easily relaxed to convex
ones. Further, they can be inefficient in training due to the requirement of
solving and differentiating through the optimization problem in every training
iteration. We propose SO-EBM, a general and efficient DFL method for stochastic
optimization using energy-based models. Instead of relying on KKT conditions to
induce an implicit optimization layer, SO-EBM explicitly parameterizes the
original optimization problem using a differentiable optimization layer based
on energy functions. To better approximate the optimization landscape, we
propose a coupled training objective that uses a maximum likelihood loss to
capture the optimum location and a distribution-based regularizer to capture
the overall energy landscape. Finally, we propose an efficient training
procedure for SO-EBM with a self-normalized importance sampler based on a
Gaussian mixture proposal. We evaluate SO-EBM in three applications: power
scheduling, COVID-19 resource allocation, and non-convex adversarial security
game, demonstrating the effectiveness and efficiency of SO-EBM.
- Abstract（参考訳）: 近年,未知パラメータを含む確率的最適化問題に対してDFLが提案されている。
予測モデリングを暗黙的に微分可能な最適化層に統合することにより、DFLは標準的な2段階予測列最適化パイプラインよりも優れた性能を示した。
しかし、既存のDFL法の多くは、凸問題や凸問題のサブセットにのみ適用でき、凸問題に容易に緩和できる。
さらに、トレーニングイテレーション毎に最適化問題を解き、差別化する必要があるため、トレーニングでは非効率になる可能性がある。
エネルギーモデルを用いた確率最適化のための汎用的で効率的なDFL手法SO-EBMを提案する。
暗黙の最適化層を誘導するためにKKT条件に頼る代わりに、SO-EBMはエネルギー関数に基づいて微分可能な最適化層を用いて元の最適化問題をパラメータ化する。
最適化ランドスケープをよりよく近似するために,最適位置を捕捉する最大可能性損失と,全エネルギーランドスケープを捕捉する分布型正規化器を併用した学習目標を提案する。
最後に,ガウス混合提案に基づく自己正規化重要サンプルを用いたSO-EBMの効率的な訓練手法を提案する。
我々は,SO-EBMを3つのアプリケーション – 電力スケジューリング,COVID-19資源割り当て,非凸対人セキュリティゲーム – で評価し,SO-EBMの有効性と効率を実証した。
関連論文リスト
- A Convex-optimization-based Layer-wise Post-training Pruner for Large Language Models [24.185245582500876]
本稿では,凸最適化モデルとアルゴリズムに基づく最初のポストトレーニングプルーナであるFISTAPrunerを紹介する。
FISTAPrunerは層内累積誤差補正機構を搭載し、並列プルーニングをサポートする。
OPT, LLaMA, LLaMA-2, LLaMA-3 などのモデルにおける FISTAPruner の評価を行った。
論文 参考訳（メタデータ） (2024-08-07T12:33:46Z) - Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。
過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。
報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
論文 参考訳（メタデータ） (2024-05-26T05:38:50Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T16:33:35Z) - Multi-fidelity Constrained Optimization for Stochastic Black Box
Simulators [1.6385815610837167]
上記の問題に対処するために、Scout-Nd (Stochastic Constrained Optimization for N dimensions) アルゴリズムを導入する。
Scout-Ndは効率よく勾配を推定し、推定器勾配のノイズを低減し、計算労力をさらに削減するために多重忠実性スキームを適用する。
提案手法を標準ベンチマークで検証し,既存の手法よりも優れた性能を示すパラメータの最適化の有効性を示す。
論文 参考訳（メタデータ） (2023-11-25T23:36:38Z) - Parallel Bayesian Optimization Using Satisficing Thompson Sampling for
Time-Sensitive Black-Box Optimization [0.0]
本稿では,Thompsonサンプリングに基づく並列BO手法を提案する。
ターゲットを最適なソリューションから、学習しやすい満足できるソリューションにシフトします。
リチウムイオン電池の高速充電設計問題に対して提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2023-10-19T07:03:51Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Learning Implicit Priors for Motion Optimization [105.11889448885226]
エネルギーベースモデル(EBM)は、表現力のある確率密度分布を表す。
本稿では,EMMを動作最適化に適用するために必要となるモデリングとアルゴリズムの選択について述べる。
論文 参考訳（メタデータ） (2022-04-11T19:14:54Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。
BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
論文 参考訳（メタデータ） (2020-07-02T07:35:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。