論文の概要: Gradient-based Bi-level Optimization for Deep Learning: A Survey
- arxiv url: http://arxiv.org/abs/2207.11719v1
- Date: Sun, 24 Jul 2022 11:23:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 15:53:09.268935
- Title: Gradient-based Bi-level Optimization for Deep Learning: A Survey
- Title(参考訳): 深層学習のための勾配に基づくbiレベル最適化に関する研究
- Authors: Can Chen, Xi Chen, Chen Ma, Zixuan Liu, Xue Liu
- Abstract要約: 双方向最適化、特に勾配に基づくカテゴリは、ディープラーニングコミュニティで広く使われている。
本稿ではまず,勾配に基づく二段階最適化の形式的定義について述べる。
- 参考スコア(独自算出の注目度): 14.39891675968109
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Bi-level optimization, especially the gradient-based category, has been
widely used in the deep learning community including hyperparameter
optimization and meta-knowledge extraction. Bi-level optimization embeds one
problem within another and the gradient-based category solves the outer level
task by computing the hypergradient, which is much more efficient than
classical methods such as the evolutionary algorithm. In this survey, we first
give a formal definition of the gradient-based bi-level optimization. Secondly,
we illustrate how to formulate a research problem as a bi-level optimization
problem, which is of great practical use for beginners. More specifically,
there are two formulations: the single-task formulation to optimize
hyperparameters such as regularization parameters and the distilled data, and
the multi-task formulation to extract meta knowledge such as the model
initialization. With a bi-level formulation, we then discuss four bi-level
optimization solvers to update the outer variable including explicit gradient
update, proxy update, implicit function update, and closed-form update. Last
but not least, we conclude the survey by pointing out the great potential of
gradient-based bi-level optimization on science problems (AI4Science).
- Abstract(参考訳): 双レベル最適化,特に勾配に基づくカテゴリは,ハイパーパラメータ最適化やメタ知識抽出など,ディープラーニングコミュニティで広く利用されている。
双レベル最適化は別の問題に埋め込まれ、勾配に基づくカテゴリは、進化アルゴリズムのような古典的な手法よりもはるかに効率的な過次性を計算することによって、外層タスクを解く。
本研究では,まず,勾配に基づくbiレベル最適化を形式的に定義する。
次に,二段階最適化問題として研究問題を定式化する方法について述べる。
具体的には、正規化パラメータや蒸留データなどのハイパーパラメータを最適化するシングルタスク定式化と、モデル初期化などのメタ知識を抽出するマルチタスク定式化の2つがある。
次に,2段階の定式化により,外変数の明示的な勾配更新,プロキシ更新,暗黙的関数更新,クローズドフォーム更新を含む4つの2段階最適化ソルバについて検討する。
最後に、科学問題(AI4Science)における勾配に基づく二段階最適化の大きな可能性を指摘した。
関連論文リスト
- Unleashing the Potential of Large Language Models as Prompt Optimizers:
An Analogical Analysis with Gradient-based Model Optimizers [115.2038169433773]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
論文 参考訳(メタデータ) (2024-02-27T15:05:32Z) - Contextual Stochastic Bilevel Optimization [50.36775806399861]
文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。
メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
論文 参考訳(メタデータ) (2023-10-27T23:24:37Z) - On Implicit Bias in Overparameterized Bilevel Optimization [38.11483853830913]
双レベル問題は、それぞれ外問題と内問題と呼ばれる、ネストした2つのサブプロブレムから構成される。
本稿では,2レベル最適化のための勾配に基づくアルゴリズムの暗黙バイアスについて検討する。
ウォームスタートBLOによって得られる内部解は、外的目的に関する驚くべき量の情報を符号化できることを示す。
論文 参考訳(メタデータ) (2022-12-28T18:57:46Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳(メタデータ) (2022-10-04T04:43:58Z) - Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。
また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
論文 参考訳(メタデータ) (2021-07-26T16:18:43Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳(メタデータ) (2020-10-15T18:09:48Z) - Objective-Sensitive Principal Component Analysis for High-Dimensional
Inverse Problems [0.0]
本稿では,大規模乱数場の適応的,微分可能なパラメータ化手法を提案する。
開発した手法は主成分分析(PCA)に基づくが,目的関数の振る舞いを考慮した主成分の純粋にデータ駆動に基づく基礎を変更する。
最適パラメータ分解のための3つのアルゴリズムを2次元合成履歴マッチングの目的に適用した。
論文 参考訳(メタデータ) (2020-06-02T18:51:17Z) - Finding Optimal Points for Expensive Functions Using Adaptive RBF-Based
Surrogate Model Via Uncertainty Quantification [11.486221800371919]
本稿では,適応的放射基底関数 (RBF) を用いた不確実性定量化によるサロゲートモデルを用いた新しいグローバル最適化フレームワークを提案する。
まずRBFに基づくベイズ代理モデルを用いて真の関数を近似し、新しい点が探索されるたびにRBFのパラメータを適応的に推定し更新することができる。
次に、モデル誘導選択基準を用いて、関数評価のための候補セットから新しい点を識別する。
論文 参考訳(メタデータ) (2020-01-19T16:15:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。