論文の概要: Meta-Learning with a Geometry-Adaptive Preconditioner
- arxiv url: http://arxiv.org/abs/2304.01552v2
- Date: Wed, 29 Nov 2023 06:40:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 01:03:40.157961
- Title: Meta-Learning with a Geometry-Adaptive Preconditioner
- Title（参考訳）: 幾何適応型プリコンディショナーによるメタラーニング
- Authors: Suhyun Kang, Duhun Hwang, Moonjung Eo, Taesup Kim, Wonjong Rhee
- Abstract要約: 本稿では,モデルに依存しないメタ学習アルゴリズムの限界を克服するために,GAP(Geometry-Adaptive Preconditioned gradient descent)を提案する。
GAPはタスク固有のパラメータに依存するプレコンディショナーを効率的にメタ学習することができ、そのプレコンディショナーはリーマン計量であることを示すことができる。
実験結果から,GAPは最先端のMAMLファミリーとプレコンディショニング・グラデーション・マML(PGD-MAML)ファミリーを多種多様なショット学習タスクで上回っていることがわかった。
- 参考スコア（独自算出の注目度）: 5.958707909653156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model-agnostic meta-learning (MAML) is one of the most successful
meta-learning algorithms. It has a bi-level optimization structure where the
outer-loop process learns a shared initialization and the inner-loop process
optimizes task-specific weights. Although MAML relies on the standard gradient
descent in the inner-loop, recent studies have shown that controlling the
inner-loop's gradient descent with a meta-learned preconditioner can be
beneficial. Existing preconditioners, however, cannot simultaneously adapt in a
task-specific and path-dependent way. Additionally, they do not satisfy the
Riemannian metric condition, which can enable the steepest descent learning
with preconditioned gradient. In this study, we propose Geometry-Adaptive
Preconditioned gradient descent (GAP) that can overcome the limitations in
MAML; GAP can efficiently meta-learn a preconditioner that is dependent on
task-specific parameters, and its preconditioner can be shown to be a
Riemannian metric. Thanks to the two properties, the geometry-adaptive
preconditioner is effective for improving the inner-loop optimization.
Experiment results show that GAP outperforms the state-of-the-art MAML family
and preconditioned gradient descent-MAML (PGD-MAML) family in a variety of
few-shot learning tasks. Code is available at:
https://github.com/Suhyun777/CVPR23-GAP.
- Abstract（参考訳）: モデル非依存メタ学習(maml)は、最も成功したメタ学習アルゴリズムの1つである。
外ループプロセスは共有初期化を学習し、内ループプロセスはタスク固有の重みを最適化する二段階最適化構造を持つ。
MAMLはインナーループの標準勾配降下に依存するが、最近の研究ではメタ学習プレコンディショナーによるインナーループの勾配降下の制御が有用であることが示されている。
しかし、既存のプリコンディショナーはタスク固有のパス依存の方法で同時に適応することはできない。
さらに、それらはリーマン計量条件を満たさず、事前条件付き勾配で最も急降下学習を可能にする。
本研究では,MAMLの制約を克服できる幾何適応型事前条件勾配降下(GAP)を提案する。GAPはタスク固有のパラメータに依存する事前条件を効率的にメタ学習することができ,その事前条件はリーマン計量であることを示す。
この2つの特性により、幾何適応型プレコンディショナーはインナーループ最適化の改善に有効である。
実験結果から,GAPは最先端のMAMLファミリーとプレコンディショニング・グラデーション・マML(PGD-MAML)ファミリーを多種多様なショット学習タスクで上回ることがわかった。
コードは以下の通り。 https://github.com/Suhyun777/CVPR23-GAP。
関連論文リスト
- A New First-Order Meta-Learning Algorithm with Convergence Guarantees [37.85411810113886]
グラディエントベースのメタ学習、特にMAMLは、この目標を達成するための実行可能なソリューションとして現れています。
MAMLが遭遇する問題の1つは、メタグラディエントを計算するのに必要な計算とメモリの負荷である。
我々は、他の一階変種とは異なり、MAMLの目的の定常点に収束することを証明した新しい一階変種を提案する。
論文 参考訳（メタデータ） (2024-09-05T16:37:26Z) - Curvature-Informed SGD via General Purpose Lie-Group Preconditioners [6.760212042305871]
曲率情報を利用して勾配降下(SGD)を加速する新しい手法を提案する。
提案手法は,行列フリープレコンディショナーと低ランクプレコンディショナーの2つのプレコンディショナーを含む。
プレコンディショニングされたSGD(PSGD)は、ビジョン、NLP、RLタスクにおいてSoTAよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-07T03:18:00Z) - AGD: an Auto-switchable Optimizer using Stepwise Gradient Difference for
Preconditioning Matrix [9.629238108795013]
本稿では,2段階の勾配差を対角線要素として利用して,プレコンディショニング行列の設計手法を提案する。
我々は、自然言語処理(NLP)、コンピュータビジョン(CV)、レコメンデーションシステム(RecSys)の一般化に関するAGDの評価を行った。
実験の結果,AGDは最先端技術(SOTA)よりも優れており,高い競争力や予測性能が向上していることがわかった。
論文 参考訳（メタデータ） (2023-12-04T06:20:14Z) - ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳（メタデータ） (2023-09-12T14:36:13Z) - Contextual Gradient Scaling for Few-Shot Learning [24.19934081878197]
モデルに依存しないメタラーニング(MAML)のための文脈勾配スケーリング(CxGrad)を提案する。
CxGradは、インナーループにおけるタスク固有の知識の学習を容易にするために、バックボーンの勾配ノルムをスケールする。
実験の結果,CxGradは内ループにおけるタスク固有の知識の学習を効果的に促すことが示された。
論文 参考訳（メタデータ） (2021-10-20T03:05:58Z) - Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる
新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
論文 参考訳（メタデータ） (2021-05-13T04:23:07Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳（メタデータ） (2020-06-29T20:57:20Z) - MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of
Gradients [112.00379151834242]
本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。
これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
論文 参考訳（メタデータ） (2020-06-21T21:47:43Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z) - On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
我々は、勾配収束法を期待する適応勾配法を証明した。
解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
論文 参考訳（メタデータ） (2018-08-16T20:25:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。