論文の概要: Self-Supervised Primal-Dual Learning for Constrained Optimization
- arxiv url: http://arxiv.org/abs/2208.09046v1
- Date: Thu, 18 Aug 2022 20:07:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-22 17:34:44.289777
- Title: Self-Supervised Primal-Dual Learning for Constrained Optimization
- Title(参考訳): 制約付き最適化のための自己教師付きPrimal-Dual Learning
- Authors: Seonho Park, Pascal Van Hentenryck
- Abstract要約: 本稿では,制約付き最適化問題の最適解を直接近似する機械学習モデルの訓練方法を検討する。
プリマル・デュアル・ラーニング(PDL, Primal-Dual Learning)は,事前解決した一連のインスタンスや,学習と推論のための最適化解法を必要としない自己指導型トレーニング手法である。
- 参考スコア(独自算出の注目度): 19.965556179096385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies how to train machine-learning models that directly
approximate the optimal solutions of constrained optimization problems. This is
an empirical risk minimization under constraints, which is challenging as
training must balance optimality and feasibility conditions. Supervised
learning methods often approach this challenge by training the model on a large
collection of pre-solved instances. This paper takes a different route and
proposes the idea of Primal-Dual Learning (PDL), a self-supervised training
method that does not require a set of pre-solved instances or an optimization
solver for training and inference. Instead, PDL mimics the trajectory of an
Augmented Lagrangian Method (ALM) and jointly trains primal and dual neural
networks. Being a primal-dual method, PDL uses instance-specific penalties of
the constraint terms in the loss function used to train the primal network.
Experiments show that, on a set of nonlinear optimization benchmarks, PDL
typically exhibits negligible constraint violations and minor optimality gaps,
and is remarkably close to the ALM optimization. PDL also demonstrated improved
or similar performance in terms of the optimality gaps, constraint violations,
and training times compared to existing approaches.
- Abstract(参考訳): 本稿では,制約付き最適化問題の最適解を直接近似する機械学習モデルの訓練方法を検討する。
これは制約の下での実証的なリスク最小化であり、トレーニングは最適性と実現可能性条件のバランスをとる必要があるため、難しい。
教師付き学習手法は、事前に解決された多数のインスタンスでモデルをトレーニングすることで、この課題にアプローチすることが多い。
本稿では,事前解決したインスタンスのセットや,学習と推論のための最適化解法を必要としない自己指導型学習手法であるPDL(Primal-Dual Learning)を提案する。
代わりに、PDLは拡張ラグランジアン法(ALM)の軌道を模倣し、原始ニューラルネットワークと双対ニューラルネットワークを共同で訓練する。
原始双対法であるPDLは、原始ネットワークのトレーニングに使用される損失関数における制約項のインスタンス固有のペナルティを使用する。
実験により、一連の非線形最適化ベンチマークにおいて、PDLは通常無視可能な制約違反と小さな最適性ギャップを示し、ALM最適化に非常に近いことが示されている。
PDLはまた、既存のアプローチと比較して、最適性ギャップ、制約違反、トレーニング時間の観点から改善または類似した性能を示した。
関連論文リスト
- Learning Constrained Optimization with Deep Augmented Lagrangian Methods [60.94111369773497]
機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。
本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。
これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
論文 参考訳(メタデータ) (2024-03-06T04:43:22Z) - Incorporating Exemplar Optimization into Training with Dual Networks for
Human Mesh Recovery [37.233112051529574]
単一画像からの新たな最適化に基づくヒューマンメッシュリカバリ手法を提案する。
模範最適化をトレーニングステージに組み込む。
実験により,新しい学習手法が最先端の手法を著しく上回る結果が得られた。
論文 参考訳(メタデータ) (2024-01-25T12:04:53Z) - Self-Supervised Learning for Large-Scale Preventive Security Constrained
DC Optimal Power Flow [23.720345079914637]
SCOPF(Security-Constrained Optimal Power Flow)は、電力グリッドの安定性において重要な役割を果たすが、システムが成長するにつれてますます複雑になる。
本稿では,大規模SCOPF問題に対する準最適解を生成するための,自己教師付きエンドツーエンドのPDL-SCOPFについて紹介する。
論文 参考訳(メタデータ) (2023-11-29T20:36:35Z) - MAST: Model-Agnostic Sparsified Training [4.962431253126472]
我々は、ブラックボックス関数として機械学習モデル損失を最小限に抑える従来の方法から外れた、新しい最適化問題の定式化を導入する。
従来の定式化とは異なり、提案手法は、初期訓練されたモデルとランダムスケッチ演算子を明示的に組み込む。
本稿では,新しい問題定式化に適応したグラディエント・ディキセント法(SGD)のいくつかの変種について述べる。
論文 参考訳(メタデータ) (2023-11-27T18:56:03Z) - Stochastic Methods for AUC Optimization subject to AUC-based Fairness
Constraints [51.12047280149546]
公正な予測モデルを得るための直接的なアプローチは、公正な制約の下で予測性能を最適化することでモデルを訓練することである。
フェアネスを考慮した機械学習モデルのトレーニング問題を,AUCに基づくフェアネス制約のクラスを対象とする最適化問題として定式化する。
フェアネス測定値の異なる実世界のデータに対するアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2022-12-23T22:29:08Z) - Optimization-Derived Learning with Essential Convergence Analysis of
Training and Hyper-training [52.39882976848064]
固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。
GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
論文 参考訳(メタデータ) (2022-06-16T01:50:25Z) - Careful! Training Relevance is Real [0.7742297876120561]
我々は、トレーニングの妥当性を強制するために設計された制約を提案する。
提案した制約を加えることで,ソリューションの品質が大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-01-12T11:54:31Z) - Learning MDPs from Features: Predict-Then-Optimize for Sequential
Decision Problems by Reinforcement Learning [52.74071439183113]
我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。
2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
論文 参考訳(メタデータ) (2021-06-06T23:53:31Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳(メタデータ) (2021-03-18T14:26:26Z) - Combining Deep Learning and Optimization for Security-Constrained
Optimal Power Flow [94.24763814458686]
セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。
SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。
本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
論文 参考訳(メタデータ) (2020-07-14T12:38:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。