論文の概要: Gradient-based Bi-level Optimization for Deep Learning: A Survey
- arxiv url: http://arxiv.org/abs/2207.11719v4
- Date: Sun, 9 Jul 2023 21:53:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 22:46:08.645736
- Title: Gradient-based Bi-level Optimization for Deep Learning: A Survey
- Title（参考訳）: 深層学習のための勾配に基づくbiレベル最適化に関する研究
- Authors: Can Chen, Xi Chen, Chen Ma, Zixuan Liu, Xue Liu
- Abstract要約: 双方向最適化、特に勾配に基づくカテゴリは、ディープラーニングコミュニティで広く使われている。
まず、勾配に基づく二段階最適化の形式的定義を与える。
次に、外部変数を更新するための2段階最適化問題を4つ議論する。
- 参考スコア（独自算出の注目度）: 14.39891675968109
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Bi-level optimization, especially the gradient-based category, has been
widely used in the deep learning community including hyperparameter
optimization and meta-knowledge extraction. Bi-level optimization embeds one
problem within another and the gradient-based category solves the outer-level
task by computing the hypergradient, which is much more efficient than
classical methods such as the evolutionary algorithm. In this survey, we first
give a formal definition of the gradient-based bi-level optimization. Next, we
delineate criteria to determine if a research problem is apt for bi-level
optimization and provide a practical guide on structuring such problems into a
bi-level optimization framework, a feature particularly beneficial for those
new to this domain. More specifically, there are two formulations: the
single-task formulation to optimize hyperparameters such as regularization
parameters and the distilled data, and the multi-task formulation to extract
meta-knowledge such as the model initialization. With a bi-level formulation,
we then discuss four bi-level optimization solvers to update the outer variable
including explicit gradient update, proxy update, implicit function update, and
closed-form update. Finally, we wrap up the survey by highlighting two
prospective future directions: (1) Effective Data Optimization for Science
examined through the lens of task formulation. (2) Accurate Explicit Proxy
Update analyzed from an optimization standpoint.
- Abstract（参考訳）: 双レベル最適化,特に勾配に基づくカテゴリは,ハイパーパラメータ最適化やメタ知識抽出など,ディープラーニングコミュニティで広く利用されている。
双レベル最適化は別の問題に埋め込まれ、勾配に基づくカテゴリは、進化アルゴリズムのような古典的な手法よりもはるかに効率的な過次性を計算することによって、外層課題を解決する。
本研究では,まず,勾配に基づくbiレベル最適化を形式的に定義する。
次に、二段階最適化に研究課題が適しているかどうかを判断するための基準を明確にし、これらの問題を二段階最適化フレームワークに構造化するための実践的なガイドを提供する。
具体的には、正規化パラメータや蒸留データなどのハイパーパラメータを最適化するシングルタスク定式化と、モデル初期化のようなメタ知識を抽出するマルチタスク定式化の2つがある。
次に,2段階の定式化により,外変数の明示的な勾配更新,プロキシ更新,暗黙的関数更新,クローズドフォーム更新を含む4つの2段階最適化ソルバについて検討する。
最後に,(1)課題定式化のレンズを通して検証した科学における効果的なデータ最適化の2つの今後の方向性を強調することで調査をまとめる。
2)最適化の観点から解析した正確な明示的プロキシ更新。
関連論文リスト
- Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。
本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。
合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
論文 参考訳（メタデータ） (2024-11-07T17:05:31Z) - Pareto Set Prediction Assisted Bilevel Multi-objective Optimization [2.3293561091456283]
両レベルにおいて複数目的(BLMOP)の問題に対処する。
提案されたアプローチは、欺くことと非欺くことの両方を含む、さまざまな問題で競合する。
論文 参考訳（メタデータ） (2024-09-05T08:04:11Z) - Memory-Efficient Gradient Unrolling for Large-Scale Bi-level Optimization [71.35604981129838]
従来の勾配に基づく二段階最適化アルゴリズムは、大規模アプリケーションの要求を満たすには不適である。
両レベル最適化のためのメタ勾配の偏りのない近似を実現するための$(textFG)2textU$を導入する。
$(textFG)2textU$は本質的に並列コンピューティングをサポートするように設計されており、大規模分散コンピューティングシステムを効果的に活用することができる。
論文 参考訳（メタデータ） (2024-06-20T08:21:52Z) - A survey and benchmark of high-dimensional Bayesian optimization of discrete sequences [12.248793682283964]
個々のブラックボックス機能を最適化することは、タンパク質工学や薬物設計など、いくつかの領域において重要である。
我々は,高次元ベイズ最適化手法と標準化されたブラックボックス関数の集合を幅広くテストするための統一的なフレームワークを開発する。
これらのベンチマークの2つのコンポーネントはそれぞれ、柔軟でスケーラブルで容易に拡張可能なソフトウェアライブラリによってサポートされています。
論文 参考訳（メタデータ） (2024-06-07T08:39:40Z) - Contextual Stochastic Bilevel Optimization [50.36775806399861]
文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。
メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
論文 参考訳（メタデータ） (2023-10-27T23:24:37Z) - On Implicit Bias in Overparameterized Bilevel Optimization [38.11483853830913]
双レベル問題は、それぞれ外問題と内問題と呼ばれる、ネストした2つのサブプロブレムから構成される。
本稿では,2レベル最適化のための勾配に基づくアルゴリズムの暗黙バイアスについて検討する。
ウォームスタートBLOによって得られる内部解は、外的目的に関する驚くべき量の情報を符号化できることを示す。
論文 参考訳（メタデータ） (2022-12-28T18:57:46Z) - Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。
また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
論文 参考訳（メタデータ） (2021-07-26T16:18:43Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Finding Optimal Points for Expensive Functions Using Adaptive RBF-Based
Surrogate Model Via Uncertainty Quantification [11.486221800371919]
本稿では,適応的放射基底関数 (RBF) を用いた不確実性定量化によるサロゲートモデルを用いた新しいグローバル最適化フレームワークを提案する。
まずRBFに基づくベイズ代理モデルを用いて真の関数を近似し、新しい点が探索されるたびにRBFのパラメータを適応的に推定し更新することができる。
次に、モデル誘導選択基準を用いて、関数評価のための候補セットから新しい点を識別する。
論文 参考訳（メタデータ） (2020-01-19T16:15:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。