論文の概要: Moreau Envelope Based Difference-of-weakly-Convex Reformulation and
Algorithm for Bilevel Programs
- arxiv url: http://arxiv.org/abs/2306.16761v2
- Date: Sat, 20 Jan 2024 16:41:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 21:27:19.123292
- Title: Moreau Envelope Based Difference-of-weakly-Convex Reformulation and
Algorithm for Bilevel Programs
- Title（参考訳）: Moreau Envelope による二段階プログラムの差分凸変換とアルゴリズム
- Authors: Lucy L. Gao, Jane J. Ye, Haian Yin, Shangzhi Zeng, Jin Zhang
- Abstract要約: 下層問題のエンベロープに基づく弱凸改質の革新的単一レベル差を示す。
Weakly Convex Algorithm (iP-DwCA) の逐次収束不等式近差分法をさらに発展させる。
- 参考スコア（独自算出の注目度）: 10.875233844414465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bilevel programming has emerged as a valuable tool for hyperparameter
selection, a central concern in machine learning. In a recent study by Ye et
al. (2023), a value function-based difference of convex algorithm was
introduced to address bilevel programs. This approach proves particularly
powerful when dealing with scenarios where the lower-level problem exhibits
convexity in both the upper-level and lower-level variables. Examples of such
scenarios include support vector machines and $\ell_1$ and $\ell_2$ regularized
regression. In this paper, we significantly expand the range of applications,
now requiring convexity only in the lower-level variables of the lower-level
program. We present an innovative single-level difference of weakly convex
reformulation based on the Moreau envelope of the lower-level problem. We
further develop a sequentially convergent Inexact Proximal Difference of Weakly
Convex Algorithm (iP-DwCA). To evaluate the effectiveness of the proposed
iP-DwCA, we conduct numerical experiments focused on tuning hyperparameters for
kernel support vector machines on simulated data.
- Abstract（参考訳）: バイレベルプログラミングは、マシンラーニングの中心的関心事であるハイパーパラメータ選択のための貴重なツールとして登場した。
ye et al. (2023) による最近の研究で、2レベルプログラムに対処するためにconvexアルゴリズムの値関数に基づく差分が導入された。
このアプローチは、下層問題と下層変数の両方で凸性を示すシナリオを扱う場合、特に強力である。
そのようなシナリオの例としては、サポートベクターマシンと$\ell_1$と$\ell_2$正規化回帰がある。
本稿では,低レベルプログラムの低レベル変数のみに凸性を求めることにより,アプリケーションの範囲を大幅に拡大する。
本稿では,低レベル問題のモロー包絡に基づく弱凸改革の革新的な単一レベル差を提案する。
Weakly Convex Algorithm (iP-DwCA) の逐次収束近差分法を開発した。
提案したiP-DwCAの有効性を評価するため,シミュレーションデータを用いたカーネル支援ベクトルマシンのハイパーパラメータチューニングを目的とした数値実験を行った。
関連論文リスト
- A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints [66.61399765513383]
We developed a BLOCC algorithm to tackle BiLevel Optimization problems with Coupled Constraints。
2つのよく知られた実世界のアプリケーションでその効果を実証する。
論文 参考訳（メタデータ） (2024-06-14T15:59:36Z) - Variable Substitution and Bilinear Programming for Aligning Partially Overlapping Point Sets [48.1015832267945]
本研究では,RPMアルゴリズムの最小化目的関数を用いて要求を満たす手法を提案する。
分岐とバウンド(BnB)アルゴリズムが考案され、パラメータのみに分岐し、収束率を高める。
実験による評価は,非剛性変形,位置雑音,外れ値に対する提案手法の高剛性を示す。
論文 参考訳（メタデータ） (2024-05-14T13:28:57Z) - Optimal Algorithms for Stochastic Bilevel Optimization under Relaxed
Smoothness Conditions [9.518010235273785]
両レベル最適化のための完全リリップループ・ヘシアン・インバージョンフリーなアルゴリズム・フレームワークを提案する。
我々は、我々のアプローチを少し修正することで、より汎用的な多目的ロバストな双レベル最適化問題に対処できることを示した。
論文 参考訳（メタデータ） (2023-06-21T07:32:29Z) - A Generalized Alternating Method for Bilevel Learning under the
Polyak-{\L}ojasiewicz Condition [63.66516306205932]
バイレベル最適化は、その新興機械学習分野への応用により、最近、関心を取り戻している。
最近の結果は、単純な反復に基づくイテレーションは、低レベルな目標の凸に起因する利害と一致することを示しています。
論文 参考訳（メタデータ） (2023-06-04T17:54:11Z) - Value Function Based Difference-of-Convex Algorithm for Bilevel
Hyperparameter Selection Problems [5.940592509070767]
不確定性(VF-iDCA)を有する逐次収束値に基づく差分関数アルゴリズムを開発する。
実験の結果,提案したVF-iDCAはハイパーパラメータのチューニングに際し,優れた性能を示すことがわかった。
論文 参考訳（メタデータ） (2022-06-13T08:51:10Z) - A Constrained Optimization Approach to Bilevel Optimization with
Multiple Inner Minima [49.320758794766185]
そこで本研究では,両レベル問題を等価な制約付き最適化に変換する手法を提案する。
このようなアプローチには、(a)多重内極小問題への対処、(b)ジャコビアン計算のない完全一階効率など、いくつかの利点がある。
論文 参考訳（メタデータ） (2022-03-01T18:20:01Z) - A framework for bilevel optimization that enables stochastic and global
variance reduction algorithms [17.12280360174073]
双レベル最適化は、他の関数のarg最小値を含む値関数を最小化する問題である。
本稿では, 内部問題の解, 線形系の解, 主変数を同時に発展させる新しい枠組みを提案する。
我々のフレームワークにおけるSAGAアルゴリズムの適応であるSABAは$O(frac1T)$収束率を持ち、Polyak-Lojasciewicz仮定の下で線形収束を達成することを示した。
論文 参考訳（メタデータ） (2022-01-31T18:17:25Z) - Inexact bilevel stochastic gradient methods for constrained and
unconstrained lower-level problems [0.0]
2段階の定式探索最適化は多くの機械学習の文脈で有効になっている。
2階微分を必要としない新しい低ランク二階勾配法が開発されている。
論文 参考訳（メタデータ） (2021-10-01T18:20:14Z) - Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。
また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
論文 参考訳（メタデータ） (2021-07-26T16:18:43Z) - A Value-Function-based Interior-point Method for Non-convex Bi-level
Optimization [38.75417864443519]
バイレベル最適化モデルは、実践的な関心を持って、幅広い複雑な学習タスクをキャプチャすることができる。
そこで我々は,下層問題における正規化値関数を上層目標にペナルティ化する,新しい内部Biレベル値に基づく内点法を提案する。
論文 参考訳（メタデータ） (2021-06-15T09:10:40Z) - A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm
for Bilevel Optimization [112.59170319105971]
問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。
MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
論文 参考訳（メタデータ） (2021-02-15T07:10:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。