論文の概要: Scalable Deep Unfolding of Conic Optimizers
- arxiv url: http://arxiv.org/abs/2606.13825v1
- Date: Thu, 11 Jun 2026 18:58:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 16:00:42.581923
- Title: Scalable Deep Unfolding of Conic Optimizers
- Title(参考訳): 円錐最適化器のスケーラブル・ディープ・アンフォールディング
- Authors: Alex Oshin, Rahul Vodeb Ghosh, Evangelos A. Theodorou,
- Abstract要約: Deep Openfolding (DU)は、学習可能なコンポーネントを導入し、未学習のイテレーションを通じてそれらをトレーニングすることで、反復を加速します。
COSMOのような完全更新された円錐解法をアンロールすると、学習した円錐解法に先立つ2つの障害が露呈する。
行列のない暗黙差分法で最初の障害に対処し、メモリを$O(n2)$から$O(n)$に減らし、直接分解がメモリを使い果たしたスケールでのバックプロパゲーションを可能にする。
- 参考スコア(独自算出の注目度): 16.022960827366067
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep unfolding (DU) accelerates iterative optimizers by introducing learnable components and training them through unrolled iterations, but extending DU to the large-scale semidefinite programs (SDPs) common in robotics has remained limited. Unrolling a full-update conic solver such as COSMO exposes two obstacles that prior work on learned conic solvers has not: backpropagating through the per-iteration linear-system solve incurs memory quadratic in the problem size once the coefficient matrix is formed explicitly, and backpropagating through the positive semidefinite (PSD) cone projection becomes numerically unstable when eigenvalues coincide. We address the first obstacle with a matrix-free implicit differentiation rule that operates entirely through matrix-vector products, reducing memory from $O(n^2)$ to $O(n)$ and enabling backpropagation at scales where direct factorization runs out of memory. We address the second with a backward rule based on the Dalečkii--Krein representation of the Fréchet derivative, which remains well-defined under repeated eigenvalues. Together these make it possible to learn lightweight hyperparameter policies and warm-starts for a full-update conic solver. We evaluate on nonlinear covariance steering problems solved via sequential convex programming (SCP), as well as standalone SDPs and second-order cone programs ranging from max-cut and Lovász $\vartheta$ SDPs to robust estimation and control problems. The learned policies outperform state-of-the-art solvers across all problems, and can provide up to a 50$\times$ speedup depending on the class. When used as a subroutine in SCP, the learned approach delivers over a 30$\times$ speedup compared to COSMO.
- Abstract(参考訳): 深部展開(DU)は学習可能なコンポーネントを導入し、未学習の繰り返しを通じて訓練することで反復最適化を加速するが、ロボット工学に共通する大規模半定プログラム(SDP)への拡張は限られている。
COSMOのような完全更新された円錐解法をロールすると、学習された円錐解法で以前の作業が行わない2つの障害が明らかになる: 行列行列が明示的に形成されると、各整列線形系によるバックプロパゲートは、問題サイズで二次的にメモリを消費し、正の半定値(PSD)コーン投影によるバックプロパゲートは、固有値が一致すると数値的に不安定になる。
行列-ベクトル積を通じて完全に動作し、メモリを$O(n^2)$から$O(n)$に減らし、直接分解がメモリを使い果たしたスケールでのバックプロパゲーションを可能にする。
2つ目は、フレシェ微分のダレチキイ-クライン表現に基づく逆法則で、これは繰り返し固有値の下でよく定義されている。
これらを組み合わせて、軽量なハイパーパラメータポリシーと、フルアップデートの円錐解法のためのウォームスタートを学ぶことができる。
逐次凸計画(SCP)による非線形共分散ステアリング問題と,最大カットやロヴァース$\vartheta$ SDPから頑健な推定・制御問題まで,スタンドアローンのSDPおよび2次コーンプログラムについて検討した。
学習されたポリシーはすべての問題で最先端の解法よりも優れており、クラスによって最大50$\times$スピードアップを提供することができる。
SCPのサブルーチンとして使用される場合、学習されたアプローチはCOSMOと比較して30$\times$のスピードアップを提供する。
関連論文リスト
- Near-Optimal Primal-Dual Algorithm for Learning Linear Mixture CMDPs with Adversarial Rewards [0.8984888893275712]
有限-水平線形混合制約マルコフ決定過程における安全強化学習について検討する。
本稿では, 後悔と制約違反境界を実現するプリミティブ・デュアルポリシー最適化アルゴリズムを提案する。
これは、線形混合CMDPと逆効果を持つ最初の証明可能な効率のよいアルゴリズムである。
論文 参考訳(メタデータ) (2026-03-29T21:51:33Z) - A Schrödinger Eigenfunction Method for Long-Horizon Stochastic Optimal Control [25.99003754170971]
高次元最適制御(SOC)は、より長い計画的地平線で困難になる。
勾配ドリフト仮定の下では、$mathcalL$ は純粋に離散スペクトルを持つシュルディンガー作用素 $mathcalS = -+ 数学カルV$ と同値であることが証明される。
提案手法を複数の長軸ベンチマークで評価し,最先端手法と比較して制御精度が向上した。
論文 参考訳(メタデータ) (2026-03-24T13:15:48Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳(メタデータ) (2025-05-19T07:32:56Z) - Suboptimality bounds for trace-bounded SDPs enable a faster and scalable low-rank SDP solver SDPLR+ [3.7507283158673212]
半定プログラム(SDP)は、機械学習とデータサイエンスに多くの応用がある強力なツールである。
SDPソルバは、正の半定値決定変数がn×n$密度行列であるため、困難である。
20年前、Burer氏とMonteiro氏は、完全な行列の代わりに低ランクの分解を最適化したSDPソルバを開発した。
論文 参考訳(メタデータ) (2024-06-14T20:31:22Z) - Efficiently Training Deep-Learning Parametric Policies using Lagrangian Duality [55.06411438416805]
制約付きマルコフ決定プロセス(CMDP)は、多くの高度な応用において重要である。
本稿では,パラメトリックアクターポリシーを効率的に訓練するための2段階深度決定規則(TS-DDR)を提案する。
現状の手法と比較して, 解の質を高め, 数桁の計算時間を削減できることが示されている。
論文 参考訳(メタデータ) (2024-05-23T18:19:47Z) - Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳(メタデータ) (2024-05-10T09:58:47Z) - Sketchy: Memory-efficient Adaptive Regularization with Frequent
Directions [22.09320263962004]
ディープラーニング(DL)学習タスクにおけるKronecker-factored gradient covariance matrixのスペクトルは、小さなリード固有空間に集中している。
本稿では,行列プレコンディショナを維持するためのメモリと計算要求を低減させる汎用的手法について述べる。
ShampooやAdamと競合する手法で、第2の瞬間を追跡するにはサブ線形メモリしか必要ありません。
論文 参考訳(メタデータ) (2023-02-07T21:50:06Z) - Refined Regret for Adversarial MDPs with Linear Function Approximation [50.00022394876222]
我々は,損失関数が約1,300ドル以上のエピソードに対して任意に変化するような,敵対的決定過程(MDP)の学習を検討する。
本稿では,同じ設定で$tildemathcal O(K2/3)$に対する後悔を改善する2つのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-01-30T14:37:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。