論文の概要: Meta-Learning with Neural Tangent Kernels

• arxiv url: http://arxiv.org/abs/2102.03909v2
• Date: Tue, 9 Feb 2021 02:28:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-10 12:51:08.707741
• Title: Meta-Learning with Neural Tangent Kernels
• Title（参考訳）: ニューラルタンジェントカーネルを用いたメタラーニング
• Authors: Yufan Zhou, Zhenyi Wang, Jiayi Xian, Changyou Chen, Jinhui Xu
• Abstract要約: メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
• 参考スコア（独自算出の注目度）: 58.06951624702086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model Agnostic Meta-Learning (MAML) has emerged as a standard framework for meta-learning, where a meta-model is learned with the ability of fast adapting to new tasks. However, as a double-looped optimization problem, MAML needs to differentiate through the whole inner-loop optimization path for every outer-loop training step, which may lead to both computational inefficiency and sub-optimal solutions. In this paper, we generalize MAML to allow meta-learning to be defined in function spaces, and propose the first meta-learning paradigm in the Reproducing Kernel Hilbert Space (RKHS) induced by the meta-model's Neural Tangent Kernel (NTK). Within this paradigm, we introduce two meta-learning algorithms in the RKHS, which no longer need a sub-optimal iterative inner-loop adaptation as in the MAML framework. We achieve this goal by 1) replacing the adaptation with a fast-adaptive regularizer in the RKHS; and 2) solving the adaptation analytically based on the NTK theory. Extensive experimental studies demonstrate advantages of our paradigm in both efficiency and quality of solutions compared to related meta-learning algorithms. Another interesting feature of our proposed methods is that they are demonstrated to be more robust to adversarial attacks and out-of-distribution adaptation than popular baselines, as demonstrated in our experiments.
• Abstract（参考訳）: Model Agnostic Meta-Learning(MAML)はメタ学習の標準フレームワークとして登場し、メタモデルは新しいタスクに迅速に適応する能力によって学習される。 しかし、二重ループ最適化問題として、MMLは、外部ループのトレーニングステップごとに内部ループ全体の最適化パスを区別する必要があります。 本稿では,メタラーニングを関数空間で定義するための MAML を一般化し,メタモデルのニューラルタンジェントカーネル (NTK) によって誘導される再生成カーネルヒルベルト空間 (RKHS) における最初のメタラーニングパラダイムを提案する。 このパラダイムでは、RKHSに2つのメタラーニングアルゴリズムを導入し、MDLフレームワークのようにサブオプティマティックな反復インナーループ適応を必要としない。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。 広範な実験により, 関連するメタ学習アルゴリズムと比較して, ソリューションの効率と品質の両方において, このパラダイムの利点が示された。 提案手法のもう1つの興味深い特徴は,我々の実験で示されたように,敵の攻撃や分散適応に対して,一般的なベースラインよりも頑健であることが示されていることである。

関連論文リスト

• PAC-Bayesian Meta-Learning: From Theory to Practice [77.67258935234403]
  本研究では,PAC-Bayesianフレームワークを用いた理論解析を行い,非有界損失関数を持つメタラーナーを導出する。 実験の結果,PACOHをガウス過程とベイズニューラルネットワークをベースラーナとしてインスタンス化する場合,提案手法はよりスケーラブルであることがわかった。 不確実性の原則的処理により、私たちのメタ学習者は、シーケンシャルな決定問題にうまく適用することができます。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• Bridging Multi-Task Learning and Meta-Learning: Towards Efficient Training and Effective Adaptation [19.792537914018933]
  マルチタスク学習(MTL)は、複数のタスクを共同で学習することで一般化することを目的としている。 現代のメタ学習は、テストフェーズ中にラベルが限定された目に見えないタスクを可能にし、それらに対する迅速な適応を期待する。 MTLは、勾配に基づくメタラーニング(GBML)アルゴリズムのクラスと同じ最適化形式を共有していることを示す。
  論文  参考訳（メタデータ） (2021-06-16T17:58:23Z)
• Meta Learning Black-Box Population-Based Optimizers [0.0]
  人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。 メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T08:13:25Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)
• Modeling and Optimization Trade-off in Meta-learning [23.381986209234164]
  メタラーニングにおいて、正確なモデリングと容易さのトレードオフを導入し、厳密に定義する。 我々はMAMLを代表的メタラーニングアルゴリズムとして、一般的な非リスク関数と線形回帰のトレードオフを理論的に特徴づける。 また,メタ強化学習ベンチマークのトレードオフを実証的に解決する。
  論文  参考訳（メタデータ） (2020-10-24T15:32:08Z)
• On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
  モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。 学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
  論文  参考訳（メタデータ） (2020-06-23T17:33:14Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)
• PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
  PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。 我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
  論文  参考訳（メタデータ） (2020-02-13T15:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。