論文の概要: Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters

• arxiv url: http://arxiv.org/abs/2006.09486v3
• Date: Thu, 22 Oct 2020 18:01:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 20:31:39.853842
• Title: Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters
• Title（参考訳）: 部分パラメータに対するタスク固有適応によるメタラーニングの収束
• Authors: Kaiyi Ji, Jason D. Lee, Yingbin Liang, H. Vincent Poor
• Abstract要約: モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。 本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
• 参考スコア（独自算出の注目度）: 152.03852111442114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although model-agnostic meta-learning (MAML) is a very successful algorithm in meta-learning practice, it can have high computational cost because it updates all model parameters over both the inner loop of task-specific adaptation and the outer-loop of meta initialization training. A more efficient algorithm ANIL (which refers to almost no inner loop) was proposed recently by Raghu et al. 2019, which adapts only a small subset of parameters in the inner loop and thus has substantially less computational cost than MAML as demonstrated by extensive experiments. However, the theoretical convergence of ANIL has not been studied yet. In this paper, we characterize the convergence rate and the computational complexity for ANIL under two representative inner-loop loss geometries, i.e., strongly-convexity and nonconvexity. Our results show that such a geometric property can significantly affect the overall convergence performance of ANIL. For example, ANIL achieves a faster convergence rate for a strongly-convex inner-loop loss as the number $N$ of inner-loop gradient descent steps increases, but a slower convergence rate for a nonconvex inner-loop loss as $N$ increases. Moreover, our complexity analysis provides a theoretical quantification on the improved efficiency of ANIL over MAML. The experiments on standard few-shot meta-learning benchmarks validate our theoretical findings.
• Abstract（参考訳）: モデル非依存メタ学習(maml)はメタ学習の実践において非常に成功したアルゴリズムであるが、タスク固有の適応の内ループとメタ初期化トレーニングの外ループの両方でモデルパラメータを更新できるため、計算コストが高い。 より効率的なアルゴリズムANIL(内ループをほとんど含まない)は、最近Raghuらによって提案され、内部ループ内のパラメータの小さなサブセットだけを適応させるため、広範囲な実験によって示されたMAMLよりも計算コストが大幅に低い。 しかし、アニルの理論的収束はまだ研究されていない。 本稿では,2つの代表的な内部ループ損失ジオメトリ,すなわち強凸性と非凸性の下での anil の収束率と計算複雑性を特徴付ける。 このような幾何学的性質がANILの全体的な収束性能に大きく影響することを示す。 例えば、anilは、内側ループ勾配降下ステップの数n$の増加に伴って、強凸内側ループ損失の収束速度が速くなるが、n$の増加に伴って非凸内側ループ損失の収束速度が遅くなる。 さらに,我々の複雑性解析は,MAMLによるANILの効率向上に関する理論的定量化を提供する。 標準的な数ショットメタラーニングベンチマークの実験は、我々の理論的な結果を検証する。

関連論文リスト

• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Smoothing ADMM for Sparse-Penalized Quantile Regression with Non-Convex Penalties [8.294148737585543]
  本稿では,非二次絶対および非平滑収束ペナルティの存在下での凹凸および切断された量子レグレッションについて検討する。 本稿では,スパース回帰に特化してSIADと呼ばれるペナルティ乗算器が増加する新しいループADMアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-04T21:48:51Z)
• Rényi Divergence Deep Mutual Learning [3.682680183777648]
  本稿では,Deep Learning Mutual (DML) を,単純かつ効果的な計算パラダイムとして再考する。 より柔軟で限定的なKL発散の代わりにR'enyi発散を提案する。 我々の経験的結果は、DMLとR'enyiの発散を併用した利点を示し、モデル一般化のさらなる改善につながった。
  論文  参考訳（メタデータ） (2022-09-13T04:58:35Z)
• Finite-Sum Coupled Compositional Stochastic Optimization: Theory and Applications [43.48388050033774]
  本稿では,非凸目的と凸目標の両方に対して単純なアルゴリズムを包括的に解析する。 また,外層と内層に等しい大きさのバッチをサンプリングすることで,実用的実装を改善するための新たな知見も提示した。
  論文  参考訳（メタデータ） (2022-02-24T22:39:35Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Geom-SPIDER-EM: Faster Variance Reduced Stochastic Expectation Maximization for Nonconvex Finite-Sum Optimization [21.81837334970773]
  本稿では,予測最大化(EM)アルゴリズムへのパス付き微分エスティマの拡張を提案する。 SPIDER-EM-IDERと同じ状態アート境界をサポートし,その結果を得た。
  論文  参考訳（メタデータ） (2020-11-24T21:20:53Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。