論文の概要: On Penalty-based Bilevel Gradient Descent Method

• arxiv url: http://arxiv.org/abs/2302.05185v5
• Date: Mon, 06 Jan 2025 22:56:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:48:04.862889
• Title: On Penalty-based Bilevel Gradient Descent Method
• Title（参考訳）: ペナルティに基づく二値勾配法について
• Authors: Han Shen, Quan Xiao, Tianyi Chen,
• Abstract要約: バイレベル最適化は、新興機械学習や信号処理問題における幅広い応用を享受している。 最近の二レベルアルゴリズムの進歩は、暗黙の勾配法を通した双レベル最適化問題に主眼を置いている。 本研究では,ペナルティ手法のレンズを用いて,二段階問題に挑戦する。
• 参考スコア（独自算出の注目度）: 35.83102074785861
• License:
• Abstract: Bilevel optimization enjoys a wide range of applications in emerging machine learning and signal processing problems such as hyper-parameter optimization, image reconstruction, meta-learning, adversarial training, and reinforcement learning. However, bilevel optimization problems are traditionally known to be difficult to solve. Recent progress on bilevel algorithms mainly focuses on bilevel optimization problems through the lens of the implicit-gradient method, where the lower-level objective is either strongly convex or unconstrained. In this work, we tackle a challenging class of bilevel problems through the lens of the penalty method. We show that under certain conditions, the penalty reformulation recovers the (local) solutions of the original bilevel problem. Further, we propose the penalty-based bilevel gradient descent (PBGD) algorithm and establish its finite-time convergence for the constrained bilevel problem with lower-level constraints yet without lower-level strong convexity. Experiments on synthetic and real datasets showcase the efficiency of the proposed PBGD algorithm.
• Abstract（参考訳）: バイレベル最適化は、ハイパーパラメータ最適化、画像再構成、メタラーニング、対向訓練、強化学習といった、新興機械学習や信号処理問題に幅広い応用を享受している。 しかし、双レベル最適化問題は伝統的に解決が難しいことが知られている。 両レベルアルゴリズムの最近の進歩は、主に暗黙的勾配法(暗黙的勾配法)のレンズによる双レベル最適化の問題に焦点を当てている。 本研究では,ペナルティ手法のレンズを用いて,二段階問題に挑戦する。 一定の条件下では、ペナルティ改革が元の二段階問題の(局所的な)解を回復させることを示す。 さらに, ペナルティに基づく二段階勾配勾配法 (PBGD) アルゴリズムを提案し, その有限時間収束性を確立した。 合成および実データセットの実験は、提案したPBGDアルゴリズムの効率を示す。

関連論文リスト

• A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints [66.61399765513383]
  We developed a BLOCC algorithm to tackle BiLevel Optimization problems with Coupled Constraints。 2つのよく知られた実世界のアプリケーションでその効果を実証する。
  論文  参考訳（メタデータ） (2024-06-14T15:59:36Z)
• Constrained Bi-Level Optimization: Proximal Lagrangian Value function Approach and Hessian-free Algorithm [8.479947546216131]
  We developed a Hessian-free gradient-based algorithm-termed proximal Lagrangian Value function-based Hessian-free Bi-level Algorithm (LV-HBA) LV-HBAは特に機械学習アプリケーションに適している。
  論文  参考訳（メタデータ） (2024-01-29T13:50:56Z)
• A Generalized Alternating Method for Bilevel Learning under the Polyak-{\L}ojasiewicz Condition [63.66516306205932]
  バイレベル最適化は、その新興機械学習分野への応用により、最近、関心を取り戻している。 最近の結果は、単純な反復に基づくイテレーションは、低レベルな目標の凸に起因する利害と一致することを示しています。
  論文  参考訳（メタデータ） (2023-06-04T17:54:11Z)
• Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems [118.00379425831566]
  我々はFedBiOAccという通信効率の高いアルゴリズムを提案する。 我々は、FedBiOAcc-Localがこの種の問題に対して同じ速度で収束していることを証明する。 実験結果から,アルゴリズムの性能が向上した。
  論文  参考訳（メタデータ） (2023-02-13T21:28:53Z)
• A Conditional Gradient-based Method for Simple Bilevel Optimization with Convex Lower-level Problem [18.15207779559351]
  そこで本稿では, 切削平面による下層問題の解集合を局所的に近似する二段階最適化手法を提案する。 本手法は,二段階問題のクラスについて,最もよく知られた仮定を導出する。
  論文  参考訳（メタデータ） (2022-06-17T16:12:47Z)
• A Constrained Optimization Approach to Bilevel Optimization with Multiple Inner Minima [49.320758794766185]
  そこで本研究では,両レベル問題を等価な制約付き最適化に変換する手法を提案する。 このようなアプローチには、(a)多重内極小問題への対処、(b)ジャコビアン計算のない完全一階効率など、いくつかの利点がある。
  論文  参考訳（メタデータ） (2022-03-01T18:20:01Z)
• Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
  本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。 また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
  論文  参考訳（メタデータ） (2021-07-26T16:18:43Z)
• A Value-Function-based Interior-point Method for Non-convex Bi-level Optimization [38.75417864443519]
  バイレベル最適化モデルは、実践的な関心を持って、幅広い複雑な学習タスクをキャプチャすることができる。 そこで我々は,下層問題における正規化値関数を上層目標にペナルティ化する,新しい内部Biレベル値に基づく内点法を提案する。
  論文  参考訳（メタデータ） (2021-06-15T09:10:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。