論文の概要: Meta-Learning with Adjoint Methods
- arxiv url: http://arxiv.org/abs/2110.08432v1
- Date: Sat, 16 Oct 2021 01:18:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-21 19:01:00.138133
- Title: Meta-Learning with Adjoint Methods
- Title(参考訳): 随伴手法によるメタラーニング
- Authors: Shibo Li, Zheng Wang, Akil Narayan, Robert Kirby, Shandian Zhe
- Abstract要約: メタラーニング(MAML)は、タスクファミリーの優れた初期化を見つけるために広く使われている。
その成功にもかかわらず、MAMLにおける重要な課題は、サンプリングされたタスクに対する長いトレーニング軌跡の初期化で勾配を計算することである。
本稿では,この問題を解決するためにAdjoint MAML (A-MAML)を提案する。
人工メタ学習と実世界のメタ学習の両方において、我々のアプローチの利点を実証する。
- 参考スコア(独自算出の注目度): 16.753336086160598
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model Agnostic Meta-Learning (MAML) is widely used to find a good
initialization for a family of tasks. Despite its success, a critical challenge
in MAML is to calculate the gradient w.r.t the initialization of a long
training trajectory for the sampled tasks, because the computation graph can
rapidly explode and the computational cost is very expensive. To address this
problem, we propose Adjoint MAML (A-MAML). We view gradient descent in the
inner optimization as the evolution of an Ordinary Differential Equation (ODE).
To efficiently compute the gradient of the validation loss w.r.t the
initialization, we use the adjoint method to construct a companion, backward
ODE. To obtain the gradient w.r.t the initialization, we only need to run the
standard ODE solver twice -- one is forward in time that evolves a long
trajectory of gradient flow for the sampled task; the other is backward and
solves the adjoint ODE. We need not create or expand any intermediate
computational graphs, adopt aggressive approximations, or impose proximal
regularizers in the training loss. Our approach is cheap, accurate, and
adaptable to different trajectory lengths. We demonstrate the advantage of our
approach in both synthetic and real-world meta-learning tasks.
- Abstract(参考訳): Model Agnostic Meta-Learning (MAML) は、タスクのファミリーの優れた初期化を見つけるために広く使われている。
その成功にもかかわらず、MAMLにおける重要な課題は、計算グラフが急速に爆発し、計算コストが非常に高価であるため、サンプリングされたタスクに対する長い訓練軌道の初期化の勾配を計算することである。
この問題に対処するため,Adjoint MAML (A-MAML)を提案する。
我々は、内部最適化における勾配降下を通常の微分方程式(ode)の進化と考える。
初期化による検証損失の勾配を効率よく計算するために、アジョイント法を用いて、共役な後向きODEを構築する。
初期化の勾配w.r.tを得るには、標準ODEソルバを2回だけ実行する必要がある -- 一つは、サンプリングされたタスクの勾配フローの長い軌跡を進化させる前向きな時間であり、もう一つは後ろ向きで、随伴ODEを解く。
我々は、中間計算グラフの作成や拡張、アグレッシブ近似の採用、あるいはトレーニング損失に近似正則化を課す必要はない。
われわれのアプローチは安価で正確で、異なる軌道長に適応できる。
合成および実世界のメタ学習における我々のアプローチの利点を実証する。
関連論文リスト
- ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳(メタデータ) (2023-09-12T14:36:13Z) - Meta-Value Learning: a General Framework for Learning with Learning
Awareness [1.4323566945483497]
メタバリューによって測定された長期的展望によって共同政策を判断することを提案する。
最適化のメタゲームにQラーニングの形式を適用し、ポリシー更新の連続的な行動空間を明示的に表現する必要がないようにする。
論文 参考訳(メタデータ) (2023-07-17T21:40:57Z) - Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。
学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。
本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文 参考訳(メタデータ) (2022-03-02T22:35:58Z) - Adapting Stepsizes by Momentumized Gradients Improves Optimization and
Generalization [89.66571637204012]
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
論文 参考訳(メタデータ) (2021-06-22T03:13:23Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳(メタデータ) (2021-02-07T20:53:23Z) - B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic
Meta-Learning [2.9189409618561966]
本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。
分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
論文 参考訳(メタデータ) (2021-01-01T09:19:48Z) - Physarum Powered Differentiable Linear Programming Layers and
Applications [48.77235931652611]
一般線形プログラミング問題に対する効率的かつ微分可能な解法を提案する。
本稿では,ビデオセグメンテーションタスクとメタラーニングにおける問題解決手法について述べる。
論文 参考訳(メタデータ) (2020-04-30T01:50:37Z) - A Sample Complexity Separation between Non-Convex and Convex
Meta-Learning [42.51788412283446]
メタラーニングの流行の1つは、サンプルが少ない新しいタスクを解くのに使える一般的な方法として、多くのタスクから学ぶことである。
本稿では,特に線形ネットワークのサブスペースにおいて,最適化ブラックボックスを理解することが重要であることを示す。
これらの手法の分析により、データを投影すべき部分空間をメタ学習できることが明らかになった。
論文 参考訳(メタデータ) (2020-02-25T20:55:09Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。