論文の概要: Efficient differentiable quadratic programming layers: an ADMM approach
- arxiv url: http://arxiv.org/abs/2112.07464v1
- Date: Tue, 14 Dec 2021 15:25:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-15 14:20:24.755703
- Title: Efficient differentiable quadratic programming layers: an ADMM approach
- Title（参考訳）: 効率的な微分可能二次プログラミング層:ADMMアプローチ
- Authors: Andrew Butler and Roy Kwon
- Abstract要約: 乗算器の交互方向法(ADMM)に基づく代替ネットワーク層アーキテクチャを提案する。
後方微分は、修正された固定点反復の残差写像の暗黙の微分によって行われる。
シミュレーションの結果は、中規模の問題に対してOptNet二次プログラミング層よりも約1桁高速であるADMM層の計算上の利点を示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in neural-network architecture allow for seamless integration
of convex optimization problems as differentiable layers in an end-to-end
trainable neural network. Integrating medium and large scale quadratic programs
into a deep neural network architecture, however, is challenging as solving
quadratic programs exactly by interior-point methods has worst-case cubic
complexity in the number of variables. In this paper, we present an alternative
network layer architecture based on the alternating direction method of
multipliers (ADMM) that is capable of scaling to problems with a moderately
large number of variables. Backward differentiation is performed by implicit
differentiation of the residual map of a modified fixed-point iteration.
Simulated results demonstrate the computational advantage of the ADMM layer,
which for medium scaled problems is approximately an order of magnitude faster
than the OptNet quadratic programming layer. Furthermore, our novel
backward-pass routine is efficient, from both a memory and computation
standpoint, in comparison to the standard approach based on unrolled
differentiation or implicit differentiation of the KKT optimality conditions.
We conclude with examples from portfolio optimization in the integrated
prediction and optimization paradigm.
- Abstract（参考訳）: ニューラルネットワークアーキテクチャの最近の進歩は、エンドツーエンドのトレーニング可能なニューラルネットワークにおいて、凸最適化問題を異なる層としてシームレスに統合することを可能にする。
しかし、中規模と大規模の二次プログラムをディープニューラルネットワークアーキテクチャに統合することは、内部点法で正確に2次プログラムを解くことが、変数の数で最悪の3倍の複雑さを持つため困難である。
本稿では,適度に多くの変数を持つ問題にスケール可能な乗算器の交互方向法(ADMM)に基づく,代替的なネットワーク層アーキテクチャを提案する。
後方微分は修正固定点反復の残留写像の暗黙的な微分によって行われる。
シミュレーションの結果は、中規模の問題に対してOptNet二次プログラミング層よりも約1桁高速であるADMM層の計算上の利点を示している。
さらに, メモリと計算の両面から, KKT最適条件の非ロール化や暗黙的微分に基づく標準手法と比較して, 新たな後方通過ルーチンは効率的である。
ポートフォリオ最適化の例を総合的な予測と最適化のパラダイムでまとめる。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Differentiation Through Black-Box Quadratic Programming Solvers [16.543673072027136]
我々は,任意の2次プログラミング(QP)ソルバに対して,プラグアンドプレイの微分を可能にするモジュール型フレームワークであるdQPを紹介する。
我々の解は、QP最適化におけるアクティブ制約セットの知識が明示的な微分を可能にするというコア理論的知見に基づいている。
我々の実装は公開され、15以上の最先端QP解決器をサポートする既存のフレームワークとインターフェースします。
論文 参考訳（メタデータ） (2024-10-08T20:01:39Z) - Probabilistic partition of unity networks for high-dimensional
regression problems [1.0227479910430863]
我々は高次元回帰問題におけるユニタリネットワーク(PPOU-Net)モデルの分割について検討する。
本稿では適応次元の減少に着目した一般的な枠組みを提案する。
PPOU-Netsは、数値実験において、同等の大きさのベースライン完全接続ニューラルネットワークを一貫して上回っている。
論文 参考訳（メタデータ） (2022-10-06T06:01:36Z) - A Convergent ADMM Framework for Efficient Neural Network Training [17.764095204676973]
乗算器の交互方向法(ADMM)は多くの分類と回帰の応用において大きな成功を収めた。
本稿では,ADMM (dlADMM) を用いてニューラルネットワークの一般的なトレーニング問題を同時に解くための新しい枠組みを提案する。
提案したdlADMMアルゴリズムの収束, 効率, 有効性を示す7つのベンチマークデータセットの実験を行った。
論文 参考訳（メタデータ） (2021-12-22T01:55:24Z) - Neural Stochastic Dual Dynamic Programming [99.80617899593526]
我々は、問題インスタンスを断片的線形値関数にマッピングすることを学ぶトレーニング可能なニューラルモデルを導入する。
$nu$-SDDPは、ソリューションの品質を犠牲にすることなく、問題解決コストを大幅に削減できる。
論文 参考訳（メタデータ） (2021-12-01T22:55:23Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - Deep unfolding of the weighted MMSE beamforming algorithm [9.518010235273783]
MISOダウンリンクチャネルに対するWMMSEアルゴリズムに対する深部展開の新たな適用法を提案する。
深層展開は、自然に専門家の知識を取り入れており、即時かつしっかりとしたアーキテクチャ選択の利点、トレーニング可能なパラメータの少ないこと、説明可能性の向上がある。
シミュレーションにより、ほとんどの設定において、展開されたWMMSEは、一定回数の反復に対して、WMMSEよりも優れているか、等しく動作することを示す。
論文 参考訳（メタデータ） (2020-06-15T14:51:20Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳（メタデータ） (2020-06-15T02:57:57Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - GACEM: Generalized Autoregressive Cross Entropy Method for Multi-Modal
Black Box Constraint Satisfaction [69.94831587339539]
本稿では,マスク付き自己回帰ニューラルネットワークを用いて解空間上の均一分布をモデル化するクロスエントロピー法(CEM)を提案する。
我々のアルゴリズムは複雑な解空間を表現でき、様々な異なる解領域を追跡できる。
論文 参考訳（メタデータ） (2020-02-17T20:21:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。