論文の概要: lapanda: A Matrix-Free Differentiable Solver for Nonconvex Constrained Optimization Layers

• arxiv url: http://arxiv.org/abs/2609.33630v1
• Date: Sun, 27 Sep 2026 14:48:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:12:00.077235
• Title: lapanda: A Matrix-Free Differentiable Solver for Nonconvex Constrained Optimization Layers
• Title（参考訳）: lapanda: 非凸制約最適化層のためのマトリックスフリー微分可能解法
• Abstract要約: 微分可能な最適化は、ネットワークパイプラインに数学的最適化の構造的保証をもたらし、エンドツーエンドでトレーニングすることができる。 既存の微分可能解法はしばしば、特殊な構造に依存しているため、限られたモデリングに悩まされる。 一般制約付き非ニュートンアルゴリズムに対する行列自由微分可微分解法を提案する。
• 参考スコア（独自算出の注目度）: 3.497905742472625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable optimization brings the structural guarantees of mathematical optimization to network pipelines, allowing them to be trained end-to-end. However, its application remains challenging for nonconvex constrained problems, as existing differentiable solvers often suffer from limited modeling expressiveness due to their reliance on specialized problem structures, while also incurring substantial computation time and memory overhead in both the forward and backward passes. To address these challenges, we propose lapanda, a matrix-free differentiable solver for nonconvex optimization with general constraints. It reformulates the problem to a sequence of augmented Lagrangian subproblems, each handled by a first-order inner solver through a proximal averaged quasi-Newton algorithm with adaptive linesearch, thus enabling efficient forward optimization. We establish local well-posedness of the solution map and convergence of the outer iterations, and further derive a sensitivity alignment between the original problem and the final subproblem in the backward pass, demonstrating that the subproblem sensitivity, which can be computed efficiently in a matrix-free manner, provides a principled approximation to the exact optimizer sensitivity. We evaluate lapanda on nonconvex constrained Rosenbrock benchmarks, imitation learning with several representative constrained optimal control problems, and embedded robotic obstacle-avoidance tasks. Compared with state-of-the-art differentiable solvers, lapanda delivers substantial reductions in computation time and memory footprint while maintaining reliable constraint satisfaction and learning performance.
• Abstract（参考訳）: 微分可能な最適化は、ネットワークパイプラインに数学的最適化の構造的保証をもたらし、エンドツーエンドでトレーニングすることができる。 しかし、既存の微分可能解法は、特殊な問題構造に依存しているため、限られたモデリング表現に悩まされることが多いため、非凸制約問題に対しては依然としてその適用は困難であり、前方および後方の両方で計算時間とメモリオーバーヘッドが発生する。 これらの課題に対処するため、一般制約付き非凸最適化のための行列自由微分可能解法であるラパダを提案する。 問題を拡張ラグランジアンサブプロブレムの列に再構成し、それぞれが適応線形探索による近似平均準ニュートンアルゴリズムによって一階内解法で処理し、効率的な前方最適化を可能にする。 解写像の局所的正当性と外部反復の収束性を確立し、さらに後方通過における元の問題と最後のサブプロブレムとの感度アライメントを導出し、行列のない方法で効率的に計算できるサブプロブレム感度が、正確なオプティマイザ感度の原理的近似を与えることを示した。 我々は,非凸制約のRosenbrockベンチマーク上でのラパダの評価,いくつかの代表的制約付き最適制御問題による模倣学習,ロボット障害物回避タスクの組込みについて検討した。 最先端の微分可能解法と比較して、ラパダは信頼性の高い制約満足度と学習性能を維持しながら、計算時間とメモリフットプリントを大幅に削減する。

関連論文リスト

• DCEmbed: Scalable Optimization over Neural Surrogates [8.317971504019766]
  ニューラルネットワークサロゲートは、高価なまたは難解なモデルコンポーネントを効率的な学習近似に置き換えることで、大規模な最適化を加速することができる。 ReLUアクティベートされたニューラルネットワークの標準的な正確なエンコーディングにより、凸や混合整数ソルバによって問題の繰り返しを解決できる。 二次プログラム,混合整数資源割り当て,ニューラル二段階プログラミングの実験では,正確な混合インテガーを用いた手法よりも,高品質な実現可能な解への高速な進展を示す。
  論文  参考訳（メタデータ） (2026-09-27T19:56:25Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• DFWLayer: Differentiable Frank-Wolfe Optimization Layer [33.20550212188619]
  ニューラルネットワークに基づく機械学習の分野において、差別化可能な最適化は基礎的な役割を担っているため、かなりの注目を集めている。 本稿では,Frank-Wolfe法をロールアウトした微分可能なFrank-Wolfe Layer (DFWLayer)を提案する。 実験の結果、DFWLayerは解と勾配の競争精度を得るだけでなく、制約に一貫して従うことを示した。
  論文  参考訳（メタデータ） (2023-08-21T15:53:38Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [61.98523595657983]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• Adaptivity and Non-stationarity: Problem-dependent Dynamic Regret for Online Convex Optimization [70.4342220499858]
  本稿では,スムーズさを生かし,問題依存量による動的後悔のT$への依存を補う新しいオンラインアルゴリズムを提案する。 この結果が本質的な難易度に適応しているのは, 既往の結果よりも厳密であり, 最悪の場合, 同一レートの保護が可能であるからである。
  論文  参考訳（メタデータ） (2021-12-29T02:42:59Z)
• Provably Convergent Working Set Algorithm for Non-Convex Regularized Regression [0.0]
  本稿では、収束保証付き非正則正規化器のためのワーキングセットアルゴリズムを提案する。 その結果,ブロックコーディネートや勾配ソルバの完全解法と比較して高い利得を示した。
  論文  参考訳（メタデータ） (2020-06-24T07:40:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。