論文の概要: Moreau Envelope Based Difference-of-weakly-Convex Reformulation and
Algorithm for Bilevel Programs
- arxiv url: http://arxiv.org/abs/2306.16761v1
- Date: Thu, 29 Jun 2023 07:57:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 14:18:57.547030
- Title: Moreau Envelope Based Difference-of-weakly-Convex Reformulation and
Algorithm for Bilevel Programs
- Title（参考訳）: Moreau Envelope による二段階プログラムの差分凸変換とアルゴリズム
- Authors: Lucy L. Gao, Jane J. Ye, Haian Yin, Shangzhi Zeng, Jin Zhang
- Abstract要約: 低レベル問題のモローエンベロープを用いた新しい改質を提案し、この改質が弱凸プログラムの違いであることを実証する。
その後、弱凸プログラムのこの差を解くための逐次収束アルゴリズムを開発した。
- 参考スコア（独自算出の注目度）: 5.940592509070767
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, Ye et al. (Mathematical Programming 2023) designed an algorithm for
solving a specific class of bilevel programs with an emphasis on applications
related to hyperparameter selection, utilizing the difference of convex
algorithm based on the value function approach reformulation. The proposed
algorithm is particularly powerful when the lower level problem is fully convex
, such as a support vector machine model or a least absolute shrinkage and
selection operator model. In this paper, to suit more applications related to
machine learning and statistics, we substantially weaken the underlying
assumption from lower level full convexity to weak convexity. Accordingly, we
propose a new reformulation using Moreau envelope of the lower level problem
and demonstrate that this reformulation is a difference of weakly convex
program. Subsequently, we develop a sequentially convergent algorithm for
solving this difference of weakly convex program. To evaluate the effectiveness
of our approach, we conduct numerical experiments on the bilevel hyperparameter
selection problem from elastic net, sparse group lasso, and RBF kernel support
vector machine models.
- Abstract（参考訳）: 最近Ye et al. (Mathematical Programming 2023) は、値関数アプローチの修正に基づく凸アルゴリズムの差を利用して、ハイパーパラメータ選択に関する応用に焦点を当てた、特定の二段階プログラムのクラスを解くアルゴリズムを設計している。
提案アルゴリズムは,サポートベクトルマシンモデルや最小絶対縮小・選択演算子モデルなど,低レベル問題が完全に凸である場合に特に強力である。
本稿では,機械学習と統計学に関するさらなる応用のために,下層完全凸性から弱凸性までの基礎となる仮定を実質的に弱める。
そこで本研究では,低レベル問題のモローエンベロープを用いた新しい改質を提案し,この改質が弱凸プログラムの違いであることを示す。
その後,弱凸プログラムのこの差分を解決する逐次収束アルゴリズムを開発した。
提案手法の有効性を評価するため, 弾性ネット, スパース群ラッソ, RBFカーネルサポートベクトルマシンモデルから, 双レベルハイパーパラメータ選択問題に対する数値実験を行った。
関連論文リスト
- A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints [66.61399765513383]
We developed a BLOCC algorithm to tackle BiLevel Optimization problems with Coupled Constraints。
2つのよく知られた実世界のアプリケーションでその効果を実証する。
論文 参考訳（メタデータ） (2024-06-14T15:59:36Z) - Variable Substitution and Bilinear Programming for Aligning Partially Overlapping Point Sets [48.1015832267945]
本研究では,RPMアルゴリズムの最小化目的関数を用いて要求を満たす手法を提案する。
分岐とバウンド(BnB)アルゴリズムが考案され、パラメータのみに分岐し、収束率を高める。
実験による評価は,非剛性変形,位置雑音,外れ値に対する提案手法の高剛性を示す。
論文 参考訳（メタデータ） (2024-05-14T13:28:57Z) - Optimal Algorithms for Stochastic Bilevel Optimization under Relaxed
Smoothness Conditions [9.518010235273785]
両レベル最適化のための完全リリップループ・ヘシアン・インバージョンフリーなアルゴリズム・フレームワークを提案する。
我々は、我々のアプローチを少し修正することで、より汎用的な多目的ロバストな双レベル最適化問題に対処できることを示した。
論文 参考訳（メタデータ） (2023-06-21T07:32:29Z) - A Generalized Alternating Method for Bilevel Learning under the
Polyak-{\L}ojasiewicz Condition [63.66516306205932]
バイレベル最適化は、その新興機械学習分野への応用により、最近、関心を取り戻している。
最近の結果は、単純な反復に基づくイテレーションは、低レベルな目標の凸に起因する利害と一致することを示しています。
論文 参考訳（メタデータ） (2023-06-04T17:54:11Z) - Value Function Based Difference-of-Convex Algorithm for Bilevel
Hyperparameter Selection Problems [5.940592509070767]
不確定性(VF-iDCA)を有する逐次収束値に基づく差分関数アルゴリズムを開発する。
実験の結果,提案したVF-iDCAはハイパーパラメータのチューニングに際し,優れた性能を示すことがわかった。
論文 参考訳（メタデータ） (2022-06-13T08:51:10Z) - A Constrained Optimization Approach to Bilevel Optimization with
Multiple Inner Minima [49.320758794766185]
そこで本研究では,両レベル問題を等価な制約付き最適化に変換する手法を提案する。
このようなアプローチには、(a)多重内極小問題への対処、(b)ジャコビアン計算のない完全一階効率など、いくつかの利点がある。
論文 参考訳（メタデータ） (2022-03-01T18:20:01Z) - A framework for bilevel optimization that enables stochastic and global
variance reduction algorithms [17.12280360174073]
双レベル最適化は、他の関数のarg最小値を含む値関数を最小化する問題である。
本稿では, 内部問題の解, 線形系の解, 主変数を同時に発展させる新しい枠組みを提案する。
我々のフレームワークにおけるSAGAアルゴリズムの適応であるSABAは$O(frac1T)$収束率を持ち、Polyak-Lojasciewicz仮定の下で線形収束を達成することを示した。
論文 参考訳（メタデータ） (2022-01-31T18:17:25Z) - Inexact bilevel stochastic gradient methods for constrained and
unconstrained lower-level problems [0.0]
2段階の定式探索最適化は多くの機械学習の文脈で有効になっている。
2階微分を必要としない新しい低ランク二階勾配法が開発されている。
論文 参考訳（メタデータ） (2021-10-01T18:20:14Z) - Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。
また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
論文 参考訳（メタデータ） (2021-07-26T16:18:43Z) - A Value-Function-based Interior-point Method for Non-convex Bi-level
Optimization [38.75417864443519]
バイレベル最適化モデルは、実践的な関心を持って、幅広い複雑な学習タスクをキャプチャすることができる。
そこで我々は,下層問題における正規化値関数を上層目標にペナルティ化する,新しい内部Biレベル値に基づく内点法を提案する。
論文 参考訳（メタデータ） (2021-06-15T09:10:40Z) - A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm
for Bilevel Optimization [112.59170319105971]
問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。
MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
論文 参考訳（メタデータ） (2021-02-15T07:10:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。