論文の概要: A Gradient Method for Multilevel Optimization
- arxiv url: http://arxiv.org/abs/2105.13954v1
- Date: Fri, 28 May 2021 16:22:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-31 13:24:58.507905
- Title: A Gradient Method for Multilevel Optimization
- Title（参考訳）: 多レベル最適化のための勾配法
- Authors: Ryo Sato, Mirai Tanaka, Akiko Takeda
- Abstract要約: 我々は、Franceschiらのアイデアに基づいて、多レベル$n$レベルの勾配に基づくアルゴリズムを開発した。
私たちの知る限り、これはマルチレベル最適化の理論的保証を持つ最初のアルゴリズムの1つである。
- 参考スコア（独自算出の注目度）: 8.80899367147235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although application examples of multilevel optimization have already been
discussed since the '90s, the development of solution methods was almost
limited to bilevel cases due to the difficulty of the problem. In recent years,
in machine learning, Franceschi et al. have proposed a method for solving
bilevel optimization problems by replacing their lower-level problems with the
$T$ steepest descent update equations with some prechosen iteration number $T$.
In this paper, we have developed a gradient-based algorithm for multilevel
optimization with $n$ levels based on their idea and proved that our
reformulation with $n T$ variables asymptotically converges to the original
multilevel problem. As far as we know, this is one of the first algorithms with
some theoretical guarantee for multilevel optimization. Numerical experiments
show that a trilevel hyperparameter learning model considering data poisoning
produces more stable prediction results than an existing bilevel hyperparameter
learning model in noisy data settings.
- Abstract（参考訳）: マルチレベル最適化の応用例は90年代以降すでに議論されているが、解法の開発は問題の難しさからほぼ二段階に限られていた。
近年では、機械学習、franceschiらによって研究が進められている。
提案手法は, 2段階最適化問題の解法を, 事前反復数$T$で, 最急降下更新式$T$で置き換えることである。
本稿では,そのアイデアに基づいて,$n$レベルの多レベル最適化のための勾配に基づくアルゴリズムを開発し,nT$変数による再構成が漸近的に元のマルチレベル問題に収束することを証明した。
私たちの知る限り、これはマルチレベル最適化の理論的保証を持つ最初のアルゴリズムの1つである。
数値実験により,データ中毒を考慮した3レベルハイパーパラメータ学習モデルが,既存の2レベルハイパーパラメータ学習モデルよりも安定な予測結果を生成することが示された。
関連論文リスト
- Memory-Efficient Gradient Unrolling for Large-Scale Bi-level Optimization [71.35604981129838]
従来の勾配に基づく二段階最適化アルゴリズムは、大規模アプリケーションの要求を満たすには不適である。
両レベル最適化のためのメタ勾配の偏りのない近似を実現するための$(textFG)2textU$を導入する。
$(textFG)2textU$は本質的に並列コンピューティングをサポートするように設計されており、大規模分散コンピューティングシステムを効果的に活用することができる。
論文 参考訳（メタデータ） (2024-06-20T08:21:52Z) - Contextual Stochastic Bilevel Optimization [50.36775806399861]
文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。
メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
論文 参考訳（メタデータ） (2023-10-27T23:24:37Z) - On Momentum-Based Gradient Methods for Bilevel Optimization with
Nonconvex Lower-Level [25.438298531555468]
バイレベル最適化は機械学習タスクで一般的なプロセスである。
本稿では,両レベルPLゲームにおける非表現問題について検討する。
我々は,既存の最良の結果を$tO(Enabla F(x)leq epsilon$)の係数で改善することを示す。
論文 参考訳（メタデータ） (2023-03-07T14:55:05Z) - A Conditional Gradient-based Method for Simple Bilevel Optimization with
Convex Lower-level Problem [18.15207779559351]
そこで本稿では, 切削平面による下層問題の解集合を局所的に近似する二段階最適化手法を提案する。
本手法は,二段階問題のクラスについて,最もよく知られた仮定を導出する。
論文 参考訳（メタデータ） (2022-06-17T16:12:47Z) - Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。
また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
論文 参考訳（メタデータ） (2021-07-26T16:18:43Z) - BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
バイレベル最適化は多くの応用のために機械学習への関心が高まっている。
制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
論文 参考訳（メタデータ） (2021-06-21T20:16:40Z) - Randomized Stochastic Variance-Reduced Methods for Stochastic Bilevel
Optimization [62.87181271021217]
機械学習に多くの応用がある非SBO問題を考察する。
本稿では,非SBO問題に対する高速ランダム化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-05T18:28:42Z) - A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm
for Bilevel Optimization [112.59170319105971]
問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。
MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
論文 参考訳（メタデータ） (2021-02-15T07:10:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。