論文の概要: A Single-Loop First-Order Algorithm for Linearly Constrained Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2510.24710v1
• Date: Tue, 28 Oct 2025 17:58:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:37.334543
• Title: A Single-Loop First-Order Algorithm for Linearly Constrained Bilevel Optimization
• Title（参考訳）: 線形制約付き二値最適化のための単一ループ1次アルゴリズム
• Authors: Wei Shen, Jiawei Zhang, Minhui Huang, Cong Shen,
• Abstract要約: 両レベル最適化問題において,低レベル問題は強い凸性を持ち,線形制約が結合している場合について検討する。 線形制約付き二レベル最適化(SFLCB)のための単一ループ1次アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 24.729018766550606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study bilevel optimization problems where the lower-level problems are strongly convex and have coupled linear constraints. To overcome the potential non-smoothness of the hyper-objective and the computational challenges associated with the Hessian matrix, we utilize penalty and augmented Lagrangian methods to reformulate the original problem as a single-level one. Especially, we establish a strong theoretical connection between the reformulated function and the original hyper-objective by characterizing the closeness of their values and derivatives. Based on this reformulation, we propose a single-loop, first-order algorithm for linearly constrained bilevel optimization (SFLCB). We provide rigorous analyses of its non-asymptotic convergence rates, showing an improvement over prior double-loop algorithms -- form $O(\epsilon^{-3}\log(\epsilon^{-1}))$ to $O(\epsilon^{-3})$. The experiments corroborate our theoretical findings and demonstrate the practical efficiency of the proposed SFLCB algorithm. Simulation code is provided at https://github.com/ShenGroup/SFLCB.
• Abstract（参考訳）: 両レベル最適化問題において,低レベル問題は強い凸性を持ち,線形制約が結合している場合について検討する。 超対象の非滑らか性やヘッセン行列に関連する計算課題を克服するために、ペナルティと拡張ラグランジアン法を用いて、元の問題を単一レベルとして再構成する。 特に、それらの値と微分の近接性を特徴付けることにより、再構成関数と元の超対象との強い理論的関係を確立する。 本研究では,線形制約付き二値最適化(SFLCB)のための一ループ一階法を提案する。 我々は、その非漸近収束率を厳密に分析し、以前の二重ループアルゴリズムよりも良くなったことを示し、$O(\epsilon^{-3}\log(\epsilon^{-1}))$から$O(\epsilon^{-3})$に示す。 実験は理論的な結果を裏付け,提案したSFLCBアルゴリズムの実用的効率を実証するものである。 シミュレーションコードはhttps://github.com/ShenGroup/SFLCBで提供されている。

関連論文リスト

• Double Momentum Method for Lower-Level Constrained Bilevel Optimization [31.28781889710351]
  再帰的仮定を使わずに,非滑らかな暗黙関数定理を応用したLCBOの新しい過次関数を提案する。 さらに,2重モーメント法と適応ステップサイズ法に基づいて,テキスト入力ループのシングルタイムスケール反復アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-25T09:05:22Z)
• A Single-Loop Algorithm for Decentralized Bilevel Optimization [11.67135350286933]
  そこで本研究では,分散化された二段階最適化を低レベルに凸した問題で解くための新しい単一ループアルゴリズムを提案する。 提案手法は,反復毎に2つの行列ベクトル乗算のみを用いることで,過勾配を近似する完全単ループ法である。 解析により,提案アルゴリズムは二段階最適化アルゴリズムにおいて最もよく知られた収束率を実現することを示す。
  論文  参考訳（メタデータ） (2023-11-15T13:29:49Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Optimal Algorithms for Stochastic Bilevel Optimization under Relaxed Smoothness Conditions [9.518010235273785]
  両レベル最適化のための完全リリップループ・ヘシアン・インバージョンフリーなアルゴリズム・フレームワークを提案する。 我々は、我々のアプローチを少し修正することで、より汎用的な多目的ロバストな双レベル最適化問題に対処できることを示した。
  論文  参考訳（メタデータ） (2023-06-21T07:32:29Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [61.98523595657983]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Fast Algorithm for Constrained Linear Inverse Problems [4.492444446637857]
  我々は、ある原子ノルムが2次制約の下で最小化される制約付き線形逆問題(LIP)を考える。 凸正則性を改善した制約付きLIPの2つの等価な再構成を提案する。 FLIPSの2成分選択,圧縮センシング,画像デノーミングの古典的問題に対する性能を実証する。
  論文  参考訳（メタデータ） (2022-12-02T10:12:14Z)
• Explicit Second-Order Min-Max Optimization: Practical Algorithms and Complexity Analysis [71.05708939639537]
  本研究では,非制約問題に対するグローバルなサドル点を求めるために,不正確なNewton型手法をいくつか提案し,解析する。 提案手法は,Sur分解の必要回数の$O(log(1/eps)$因子をシェービングすることで,既存のライン検索に基づくmin-max最適化を改善する。
  論文  参考訳（メタデータ） (2022-10-23T21:24:37Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。