論文の概要: Efficient Penalty-Based Bilevel Methods: Improved Analysis, Novel Updates, and Flatness Condition

• arxiv url: http://arxiv.org/abs/2511.16796v1
• Date: Thu, 20 Nov 2025 20:48:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-24 18:08:18.809598
• Title: Efficient Penalty-Based Bilevel Methods: Improved Analysis, Novel Updates, and Flatness Condition
• Title（参考訳）: ペナルティに基づく効果的な二段階法:改良された解析、新しい更新、平坦性条件
• Authors: Liuyuan Jiang, Quan Xiao, Lisha Chen, Tianyi Chen,
• Abstract要約: ペナルティに基づく手法は、双レベル最適化(BLO)問題を解くのに人気がある。 それらはしばしば、大きなペナルティ項によって引き起こされる滑らかさの増加に対応するために、低レベル(LL)問題と小さな外ループステップサイズを解決するためにインナーループ反復を必要とする。 この研究は、結合制約(CC)を伴う一般的なBLO問題を考察し、上位変数と下位変数を分離する新しいペナルティ改革を活用する。
• 参考スコア（独自算出の注目度）: 51.22672287601796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Penalty-based methods have become popular for solving bilevel optimization (BLO) problems, thanks to their effective first-order nature. However, they often require inner-loop iterations to solve the lower-level (LL) problem and small outer-loop step sizes to handle the increased smoothness induced by large penalty terms, leading to suboptimal complexity. This work considers the general BLO problems with coupled constraints (CCs) and leverages a novel penalty reformulation that decouples the upper- and lower-level variables. This yields an improved analysis of the smoothness constant, enabling larger step sizes and reduced iteration complexity for Penalty-Based Gradient Descent algorithms in ALTernating fashion (ALT-PBGD). Building on the insight of reduced smoothness, we propose PBGD-Free, a novel fully single-loop algorithm that avoids inner loops for the uncoupled constraint BLO. For BLO with CCs, PBGD-Free employs an efficient inner-loop with substantially reduced iteration complexity. Furthermore, we propose a novel curvature condition describing the "flatness" of the upper-level objective with respect to the LL variable. This condition relaxes the traditional upper-level Lipschitz requirement, enables smaller penalty constant choices, and results in a negligible penalty gradient term during upper-level variable updates. We provide rigorous convergence analysis and validate the method's efficacy through hyperparameter optimization for support vector machines and fine-tuning of large language models.
• Abstract（参考訳）: ペナルティに基づく手法は、二段階最適化(BLO)問題を効果的に解くために人気を集めている。 しかし、大きなペナルティ項によって引き起こされる滑らかさの増大に対処するために、低レベル(LL)問題と小さな外ループステップサイズを解決するためにインナーループ反復を必要とすることが多い。 この研究は、結合制約(CC)を伴う一般的なBLO問題を考察し、上位変数と下位変数を分離する新しいペナルティ改革を活用する。 ALTernating fashion (ALT-PBGD)におけるペナルティに基づくグラディエントDescentアルゴリズムにおいて、スムーズな定数を改良し、より大きなステップサイズとイテレーションの複雑さを低減できる。 そこで本研究では,非結合制約BLOの内ループを回避するための完全単一ループアルゴリズムPBGD-Freeを提案する。 CCを持つBLOでは、PBGD-Freeは効率の良いインナーループを採用し、イテレーションの複雑さを大幅に減らしている。 さらに, LL変数に対する上層目標の「平坦性」を記述する新しい曲率条件を提案する。 この条件は、従来の上層階のリプシッツ要件を緩和し、より小さなペナルティ定数の選択を可能にし、上層階の変数更新時に無視可能なペナルティ勾配項をもたらす。 本稿では,ベクトルマシンのハイパーパラメータ最適化と大規模言語モデルの微調整により,厳密な収束解析と手法の有効性の検証を行う。

関連論文リスト

• Single-loop Algorithms for Stochastic Non-convex Optimization with Weakly-Convex Constraints [49.76332265680669]
  本稿では、目的関数と制約関数の両方が弱凸である問題の重要な部分集合について検討する。 既存の手法では、収束速度の遅さや二重ループ設計への依存など、しばしば制限に直面している。 これらの課題を克服するために,新しい単一ループペナルティに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-21T17:15:48Z)
• Double Momentum Method for Lower-Level Constrained Bilevel Optimization [31.28781889710351]
  再帰的仮定を使わずに,非滑らかな暗黙関数定理を応用したLCBOの新しい過次関数を提案する。 さらに,2重モーメント法と適応ステップサイズ法に基づいて,テキスト入力ループのシングルタイムスケール反復アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-25T09:05:22Z)
• Constrained Bi-Level Optimization: Proximal Lagrangian Value function Approach and Hessian-free Algorithm [8.479947546216131]
  We developed a Hessian-free gradient-based algorithm-termed proximal Lagrangian Value function-based Hessian-free Bi-level Algorithm (LV-HBA) LV-HBAは特に機械学習アプリケーションに適している。
  論文  参考訳（メタデータ） (2024-01-29T13:50:56Z)
• A Generalized Alternating Method for Bilevel Learning under the Polyak-{\L}ojasiewicz Condition [63.66516306205932]
  バイレベル最適化は、その新興機械学習分野への応用により、最近、関心を取り戻している。 最近の結果は、単純な反復に基づくイテレーションは、低レベルな目標の凸に起因する利害と一致することを示しています。
  論文  参考訳（メタデータ） (2023-06-04T17:54:11Z)
• On Penalty-based Bilevel Gradient Descent Method [35.83102074785861]
  バイレベル最適化は、新興機械学習や信号処理問題における幅広い応用を享受している。 最近の二レベルアルゴリズムの進歩は、暗黙の勾配法を通した双レベル最適化問題に主眼を置いている。 本研究では,ペナルティ手法のレンズを用いて,二段階問題に挑戦する。
  論文  参考訳（メタデータ） (2023-02-10T11:30:19Z)
• Averaged Method of Multipliers for Bi-Level Optimization without Lower-Level Strong Convexity [43.092883358935545]
  単ループ二値乗算器 (sl-BAMM) を両レベル最適化 (BLO) のために提案する。 我々は, sl-BAMMのKKT定常点への非漸近収束解析を行い, 解析の利点は強い勾配有界性仮定の欠如にある。
  論文  参考訳（メタデータ） (2023-02-07T11:29:05Z)
• Value-Function-based Sequential Minimization for Bi-level Optimization [52.39882976848064]
  勾配に基づくBi-Level Optimization (BLO)法は、現代の学習課題に広く応用されている。 機能的制約のあるBLOや悲観的なBLOなど、難解なシナリオでBLOを解くことができる勾配ベースの方法はほとんどない。 上記の問題に対処するために,BVFSM(Bi-level Value-Function-based Sequential Minimization)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T03:13:39Z)
• Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
  本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。 また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
  論文  参考訳（メタデータ） (2021-07-26T16:18:43Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。