論文の概要: Dual Optimistic Ascent (PI Control) is the Augmented Lagrangian Method in Disguise

• arxiv url: http://arxiv.org/abs/2509.22500v1
• Date: Fri, 26 Sep 2025 15:41:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.556324
• Title: Dual Optimistic Ascent (PI Control) is the Augmented Lagrangian Method in Disguise
• Title（参考訳）: Dual Optimistic Ascent(PI制御)は、ディグライズにおける拡張ラグランジアン法である
• Authors: Juan Ramirez, Simon Lacoste-Julien,
• Abstract要約: ラグランジアン上の双対楽観的な昇華は、増進ラグランジアン上の勾配降下昇華と同値であることを示す。 この発見により、ALMの堅牢な理論的保証を双対楽観的な設定に移行し、すべての局所解に線型収束することを証明できる。 我々の研究は、双対楽観的手法の実証的成功と理論的基礎の間に重要なギャップを埋める。
• 参考スコア（独自算出の注目度）: 16.383773324475538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constrained optimization is a powerful framework for enforcing requirements on neural networks. These constrained deep learning problems are typically solved using first-order methods on their min-max Lagrangian formulation, but such approaches often suffer from oscillations and can fail to find all local solutions. While the Augmented Lagrangian method (ALM) addresses these issues, practitioners often favor dual optimistic ascent schemes (PI control) on the standard Lagrangian, which perform well empirically but lack formal guarantees. In this paper, we establish a previously unknown equivalence between these approaches: dual optimistic ascent on the Lagrangian is equivalent to gradient descent-ascent on the Augmented Lagrangian. This finding allows us to transfer the robust theoretical guarantees of the ALM to the dual optimistic setting, proving it converges linearly to all local solutions. Furthermore, the equivalence provides principled guidance for tuning the optimism hyper-parameter. Our work closes a critical gap between the empirical success of dual optimistic methods and their theoretical foundation.
• Abstract（参考訳）: 制約付き最適化は、ニューラルネットワークの要求を強制するための強力なフレームワークである。 これらの制約付きディープラーニング問題は、通常、min-max Lagrangian の定式化における一階法を用いて解決されるが、そのような手法は振動に悩まされ、全ての局所解を見つけるのに失敗する。 拡張ラグランジアン法(ALM)はこれらの問題に対処するが、実践者は標準的なラグランジアン上での二重楽観的な昇華スキーム(PI制御)を好んでいる。 本稿では,これらのアプローチの既知同値を確立する。ラグランジアン上の双対楽観的昇華は,増分されたラグランジアン上の勾配降下昇華と同値である。 この発見により、ALMのロバストな理論的保証を双対楽観的な設定に移し、すべての局所解に線型収束することを証明できる。 さらに、等価性は、最適化ハイパーパラメータをチューニングするための原則化されたガイダンスを提供する。 我々の研究は、双対楽観的手法の実証的成功と理論的基礎の間に重要なギャップを埋める。

関連論文リスト

• Alignment of large language models with constrained learning [93.2264691508005]
  本研究では,制約付きアライメント問題に対する最適大言語モデル (LLM) ポリシーの計算問題について検討する。 我々はラグランジアン双対性を用いて、ラグランジアンによるポリシーの更新と双対降下による双対変数の更新を交互に交互に行う反復的双対ベースアライメント法を開発する。
  論文  参考訳（メタデータ） (2025-05-26T01:04:56Z)
• Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
  機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。 本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。 これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
  論文  参考訳（メタデータ） (2024-03-06T04:43:22Z)
• Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
  本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。 制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2024-02-16T16:35:18Z)
• Learning Lagrangian Multipliers for the Travelling Salesman Problem [12.968608204035611]
  本稿では,グラフニューラルネットワークの能力を活用して問題構造を利用する,革新的な教師なし学習手法を提案する。 この手法を、旅行セールスマン問題に対する有名なヘルド・カルプ・ラグランジアン緩和に適用する。 実現可能な解を見つけることに焦点を当てた既存の文献の多くとは対照的に、我々のアプローチは両面で動作し、学習が最適性の証明を加速できることを示す。
  論文  参考訳（メタデータ） (2023-12-22T17:09:34Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• A Surrogate Objective Framework for Prediction+Optimization with Soft Constraints [29.962390392493507]
  SPO+や直接最適化のような決定に焦点をあてた予測手法が、このギャップを埋めるために提案されている。 本稿では,実世界の線形および半定値負の二次計画問題に対して,解析的に微分可能な主観的フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-22T17:09:57Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• A Stochastic Composite Augmented Lagrangian Method For Reinforcement Learning [9.204659134755795]
  深層強化学習のための線形プログラミング(LP)の定式化について検討する。 拡張ラグランジアン法は、LPの解法において二重サンプリング障害に悩まされる。 深層パラメタライズされたラグランジアン法を提案する。
  論文  参考訳（メタデータ） (2021-05-20T13:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。