論文の概要: Inexact bilevel stochastic gradient methods for constrained and
unconstrained lower-level problems
- arxiv url: http://arxiv.org/abs/2110.00604v3
- Date: Mon, 6 Nov 2023 21:55:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 20:18:41.304331
- Title: Inexact bilevel stochastic gradient methods for constrained and
unconstrained lower-level problems
- Title（参考訳）: 制約付き・非拘束型低レベル問題に対する二段階確率勾配法
- Authors: Tommaso Giovannelli, Griffin Dean Kent, Luis Nunes Vicente
- Abstract要約: 2段階の定式探索最適化は多くの機械学習の文脈で有効になっている。
2階微分を必要としない新しい低ランク二階勾配法が開発されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Two-level stochastic optimization formulations have become instrumental in a
number of machine learning contexts such as continual learning, neural
architecture search, adversarial learning, and hyperparameter tuning. Practical
stochastic bilevel optimization problems become challenging in optimization or
learning scenarios where the number of variables is high or there are
constraints.
In this paper, we introduce a bilevel stochastic gradient method for bilevel
problems with nonlinear and possibly nonconvex lower-level constraints. We also
present a comprehensive convergence theory that addresses both the lower-level
unconstrained and constrained cases and covers all inexact calculations of the
adjoint gradient (also called hypergradient), such as the inexact solution of
the lower-level problem, inexact computation of the adjoint formula (due to the
inexact solution of the adjoint equation or use of a truncated Neumann series),
and noisy estimates of the gradients, Hessians, and Jacobians involved. To
promote the use of bilevel optimization in large-scale learning, we have
developed new low-rank practical bilevel stochastic gradient methods (BSG-N-FD
and~BSG-1) that do not require second-order derivatives and, in the lower-level
unconstrained case, dismiss any matrix-vector products.
- Abstract（参考訳）: 2段階の確率的最適化の定式化は、連続学習、ニューラルネットワーク検索、逆学習、ハイパーパラメータチューニングなど、多くの機械学習コンテキストで活用されている。
確率的二段階最適化問題は、変数の数が多い場合や制約がある場合の最適化や学習において困難になる。
本稿では,非線形および非凸な低レベル制約を持つ二レベル問題に対する二レベル確率勾配法を提案する。
また,低レベル非拘束ケースと制約付きケースの両方を扱った包括的収束理論を示し,低レベル問題の不等式解,随伴公式の不等式計算(随伴方程式の不等式やノイマン級数の使用による),関連する勾配,ヘシアン,ヤコビアンのノイズ推定など,随伴勾配(超次勾配とも呼ばれる)の不等式を全て網羅する。
大規模学習における二段階最適化の活用を促進するため,二階微分を必要としない低ランクな実用的二段階確率勾配法(BSG-N-FD,~BSG-1)を開発した。
関連論文リスト
- A Generalized Alternating Method for Bilevel Learning under the
Polyak-{\L}ojasiewicz Condition [63.66516306205932]
バイレベル最適化は、その新興機械学習分野への応用により、最近、関心を取り戻している。
最近の結果は、単純な反復に基づくイテレーションは、低レベルな目標の凸に起因する利害と一致することを示しています。
論文 参考訳（メタデータ） (2023-06-04T17:54:11Z) - Efficient Gradient Approximation Method for Constrained Bilevel
Optimization [2.0305676256390934]
大規模高次元データを用いたバイレベル最適化が開発されている。
本稿では凸と微分不可能な近似を伴う制約付き二値問題について考察する。
論文 参考訳（メタデータ） (2023-02-03T19:34:56Z) - A Fast and Convergent Proximal Algorithm for Regularized Nonconvex and
Nonsmooth Bi-level Optimization [26.68351521813062]
既存のバイレベルアルゴリズムは、非滑らかまたは超滑らかな正規化器を扱えない。
本稿では,包括的機械学習アプリケーションを高速化するために,暗黙差分法(AID)が有効であることを示す。
論文 参考訳（メタデータ） (2022-03-30T18:53:04Z) - A Constrained Optimization Approach to Bilevel Optimization with
Multiple Inner Minima [49.320758794766185]
そこで本研究では,両レベル問題を等価な制約付き最適化に変換する手法を提案する。
このようなアプローチには、(a)多重内極小問題への対処、(b)ジャコビアン計算のない完全一階効率など、いくつかの利点がある。
論文 参考訳（メタデータ） (2022-03-01T18:20:01Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。
また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
論文 参考訳（メタデータ） (2021-07-26T16:18:43Z) - A Value-Function-based Interior-point Method for Non-convex Bi-level
Optimization [38.75417864443519]
バイレベル最適化モデルは、実践的な関心を持って、幅広い複雑な学習タスクをキャプチャすることができる。
そこで我々は,下層問題における正規化値関数を上層目標にペナルティ化する,新しい内部Biレベル値に基づく内点法を提案する。
論文 参考訳（メタデータ） (2021-06-15T09:10:40Z) - Convergence Properties of Stochastic Hypergradients [38.64355126221992]
大規模データセットにおける低レベルの問題が経験的リスクである場合に重要となる過勾配の近似スキームについて検討する。
本研究では,理論解析を支援する数値実験を行い,実際にハイパーグラディエントを用いることの利点を示す。
論文 参考訳（メタデータ） (2020-11-13T20:50:36Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。