論文の概要: Gradient-based Bi-level Optimization for Deep Learning: A Survey
- arxiv url: http://arxiv.org/abs/2207.11719v1
- Date: Sun, 24 Jul 2022 11:23:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 15:53:09.268935
- Title: Gradient-based Bi-level Optimization for Deep Learning: A Survey
- Title（参考訳）: 深層学習のための勾配に基づくbiレベル最適化に関する研究
- Authors: Can Chen, Xi Chen, Chen Ma, Zixuan Liu, Xue Liu
- Abstract要約: 双方向最適化、特に勾配に基づくカテゴリは、ディープラーニングコミュニティで広く使われている。
本稿ではまず,勾配に基づく二段階最適化の形式的定義について述べる。
- 参考スコア（独自算出の注目度）: 14.39891675968109
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Bi-level optimization, especially the gradient-based category, has been
widely used in the deep learning community including hyperparameter
optimization and meta-knowledge extraction. Bi-level optimization embeds one
problem within another and the gradient-based category solves the outer level
task by computing the hypergradient, which is much more efficient than
classical methods such as the evolutionary algorithm. In this survey, we first
give a formal definition of the gradient-based bi-level optimization. Secondly,
we illustrate how to formulate a research problem as a bi-level optimization
problem, which is of great practical use for beginners. More specifically,
there are two formulations: the single-task formulation to optimize
hyperparameters such as regularization parameters and the distilled data, and
the multi-task formulation to extract meta knowledge such as the model
initialization. With a bi-level formulation, we then discuss four bi-level
optimization solvers to update the outer variable including explicit gradient
update, proxy update, implicit function update, and closed-form update. Last
but not least, we conclude the survey by pointing out the great potential of
gradient-based bi-level optimization on science problems (AI4Science).
- Abstract（参考訳）: 双レベル最適化,特に勾配に基づくカテゴリは,ハイパーパラメータ最適化やメタ知識抽出など,ディープラーニングコミュニティで広く利用されている。
双レベル最適化は別の問題に埋め込まれ、勾配に基づくカテゴリは、進化アルゴリズムのような古典的な手法よりもはるかに効率的な過次性を計算することによって、外層タスクを解く。
本研究では,まず,勾配に基づくbiレベル最適化を形式的に定義する。
次に,二段階最適化問題として研究問題を定式化する方法について述べる。
具体的には、正規化パラメータや蒸留データなどのハイパーパラメータを最適化するシングルタスク定式化と、モデル初期化などのメタ知識を抽出するマルチタスク定式化の2つがある。
次に,2段階の定式化により,外変数の明示的な勾配更新,プロキシ更新,暗黙的関数更新,クローズドフォーム更新を含む4つの2段階最適化ソルバについて検討する。
最後に、科学問題(AI4Science)における勾配に基づく二段階最適化の大きな可能性を指摘した。
関連論文リスト
- Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。
本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。
合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
論文 参考訳（メタデータ） (2024-11-07T17:05:31Z) - Pareto Set Prediction Assisted Bilevel Multi-objective Optimization [2.3293561091456283]
両レベルにおいて複数目的(BLMOP)の問題に対処する。
提案されたアプローチは、欺くことと非欺くことの両方を含む、さまざまな問題で競合する。
論文 参考訳（メタデータ） (2024-09-05T08:04:11Z) - Memory-Efficient Gradient Unrolling for Large-Scale Bi-level Optimization [71.35604981129838]
従来の勾配に基づく二段階最適化アルゴリズムは、大規模アプリケーションの要求を満たすには不適である。
両レベル最適化のためのメタ勾配の偏りのない近似を実現するための$(textFG)2textU$を導入する。
$(textFG)2textU$は本質的に並列コンピューティングをサポートするように設計されており、大規模分散コンピューティングシステムを効果的に活用することができる。
論文 参考訳（メタデータ） (2024-06-20T08:21:52Z) - A survey and benchmark of high-dimensional Bayesian optimization of discrete sequences [12.248793682283964]
個々のブラックボックス機能を最適化することは、タンパク質工学や薬物設計など、いくつかの領域において重要である。
我々は,高次元ベイズ最適化手法と標準化されたブラックボックス関数の集合を幅広くテストするための統一的なフレームワークを開発する。
これらのベンチマークの2つのコンポーネントはそれぞれ、柔軟でスケーラブルで容易に拡張可能なソフトウェアライブラリによってサポートされています。
論文 参考訳（メタデータ） (2024-06-07T08:39:40Z) - Contextual Stochastic Bilevel Optimization [50.36775806399861]
文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。
メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
論文 参考訳（メタデータ） (2023-10-27T23:24:37Z) - On Implicit Bias in Overparameterized Bilevel Optimization [38.11483853830913]
双レベル問題は、それぞれ外問題と内問題と呼ばれる、ネストした2つのサブプロブレムから構成される。
本稿では,2レベル最適化のための勾配に基づくアルゴリズムの暗黙バイアスについて検討する。
ウォームスタートBLOによって得られる内部解は、外的目的に関する驚くべき量の情報を符号化できることを示す。
論文 参考訳（メタデータ） (2022-12-28T18:57:46Z) - Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。
また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
論文 参考訳（メタデータ） (2021-07-26T16:18:43Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Finding Optimal Points for Expensive Functions Using Adaptive RBF-Based
Surrogate Model Via Uncertainty Quantification [11.486221800371919]
本稿では,適応的放射基底関数 (RBF) を用いた不確実性定量化によるサロゲートモデルを用いた新しいグローバル最適化フレームワークを提案する。
まずRBFに基づくベイズ代理モデルを用いて真の関数を近似し、新しい点が探索されるたびにRBFのパラメータを適応的に推定し更新することができる。
次に、モデル誘導選択基準を用いて、関数評価のための候補セットから新しい点を識別する。
論文 参考訳（メタデータ） (2020-01-19T16:15:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。