論文の概要: On Penalty-based Bilevel Gradient Descent Method
- arxiv url: http://arxiv.org/abs/2302.05185v4
- Date: Tue, 12 Sep 2023 20:09:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 18:19:38.602226
- Title: On Penalty-based Bilevel Gradient Descent Method
- Title（参考訳）: ペナルティに基づく二値勾配法について
- Authors: Han Shen, Quan Xiao, Tianyi Chen
- Abstract要約: 我々はペナルティ法のレンズを通して二段階問題に取り組む。
ペナルティに基づく二段階勾配勾配法(PBGD)アルゴリズムを提案する。
実験では提案したPBGDアルゴリズムの有効性を示す。
- 参考スコア（独自算出の注目度）: 40.27047651949238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bilevel optimization enjoys a wide range of applications in hyper-parameter
optimization, meta-learning and reinforcement learning. However, bilevel
optimization problems are difficult to solve. Recent progress on scalable
bilevel algorithms mainly focuses on bilevel optimization problems where the
lower-level objective is either strongly convex or unconstrained. In this work,
we tackle the bilevel problem through the lens of the penalty method. We show
that under certain conditions, the penalty reformulation recovers the solutions
of the original bilevel problem. Further, we propose the penalty-based bilevel
gradient descent (PBGD) algorithm and establish its finite-time convergence for
the constrained bilevel problem without lower-level strong convexity.
Experiments showcase the efficiency of the proposed PBGD algorithm.
- Abstract（参考訳）: 双レベル最適化は、ハイパーパラメータ最適化、メタラーニング、強化学習において幅広い応用を享受している。
しかし、二段階最適化問題は解決が難しい。
スケーラブルなbilevelアルゴリズムの最近の進歩は、主に低レベル目標が強い凸か非拘束かの2レベル最適化問題に焦点を当てている。
本研究では, ペナルティ手法のレンズを用いて, バイレベル問題に取り組む。
一定の条件下では、ペナルティ改革は元の二段階問題の解を回復する。
さらに,ペナルティに基づく二レベル勾配降下(pbgd)アルゴリズムを提案し,その有限時間収束を,低レベル強い凸性を持たずに確立する。
実験では提案したPBGDアルゴリズムの有効性を示す。
関連論文リスト
- A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints [66.61399765513383]
We developed a BLOCC algorithm to tackle BiLevel Optimization problems with Coupled Constraints。
2つのよく知られた実世界のアプリケーションでその効果を実証する。
論文 参考訳（メタデータ） (2024-06-14T15:59:36Z) - Constrained Bi-Level Optimization: Proximal Lagrangian Value function
Approach and Hessian-free Algorithm [8.479947546216131]
We developed a Hessian-free gradient-based algorithm-termed proximal Lagrangian Value function-based Hessian-free Bi-level Algorithm (LV-HBA)
LV-HBAは特に機械学習アプリケーションに適している。
論文 参考訳（メタデータ） (2024-01-29T13:50:56Z) - A Generalized Alternating Method for Bilevel Learning under the
Polyak-{\L}ojasiewicz Condition [63.66516306205932]
バイレベル最適化は、その新興機械学習分野への応用により、最近、関心を取り戻している。
最近の結果は、単純な反復に基づくイテレーションは、低レベルな目標の凸に起因する利害と一致することを示しています。
論文 参考訳（メタデータ） (2023-06-04T17:54:11Z) - Communication-Efficient Federated Bilevel Optimization with Local and
Global Lower Level Problems [118.00379425831566]
我々はFedBiOAccという通信効率の高いアルゴリズムを提案する。
我々は、FedBiOAcc-Localがこの種の問題に対して同じ速度で収束していることを証明する。
実験結果から,アルゴリズムの性能が向上した。
論文 参考訳（メタデータ） (2023-02-13T21:28:53Z) - A Conditional Gradient-based Method for Simple Bilevel Optimization with
Convex Lower-level Problem [18.15207779559351]
そこで本稿では, 切削平面による下層問題の解集合を局所的に近似する二段階最適化手法を提案する。
本手法は,二段階問題のクラスについて,最もよく知られた仮定を導出する。
論文 参考訳（メタデータ） (2022-06-17T16:12:47Z) - A Constrained Optimization Approach to Bilevel Optimization with
Multiple Inner Minima [49.320758794766185]
そこで本研究では,両レベル問題を等価な制約付き最適化に変換する手法を提案する。
このようなアプローチには、(a)多重内極小問題への対処、(b)ジャコビアン計算のない完全一階効率など、いくつかの利点がある。
論文 参考訳（メタデータ） (2022-03-01T18:20:01Z) - Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。
また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
論文 参考訳（メタデータ） (2021-07-26T16:18:43Z) - A Value-Function-based Interior-point Method for Non-convex Bi-level
Optimization [38.75417864443519]
バイレベル最適化モデルは、実践的な関心を持って、幅広い複雑な学習タスクをキャプチャすることができる。
そこで我々は,下層問題における正規化値関数を上層目標にペナルティ化する,新しい内部Biレベル値に基づく内点法を提案する。
論文 参考訳（メタデータ） (2021-06-15T09:10:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。