論文の概要: Memory-based Optimization Methods for Model-Agnostic Meta-Learning

• arxiv url: http://arxiv.org/abs/2106.04911v1
• Date: Wed, 9 Jun 2021 08:47:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 03:46:53.007330
• Title: Memory-based Optimization Methods for Model-Agnostic Meta-Learning
• Title（参考訳）: モデル非依存なメタラーニングのためのメモリベース最適化手法
• Authors: Bokun Wang, Zhuoning Yuan, Yiming Ying, Tianbao Yang
• Abstract要約: 本稿では,モデルに依存しないメタラーニング(MAML)のための効率的なメモリベースアルゴリズムを提案する。 提案アルゴリズムの重要な特徴は、メタモデル以外のタスクごとに個別のパーソナライズされたモデル(メモリ)を維持することである。 理論結果はMAMLの最適化理論を大幅に改善し、経験的な結果も理論を裏付ける。
• 参考スコア（独自算出の注目度）: 65.39305913358267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, model-agnostic meta-learning (MAML) has garnered tremendous attention. However, stochastic optimization of MAML is still immature. Existing algorithms for MAML are based on the ``episode" idea by sampling a number of tasks and a number of data points for each sampled task at each iteration for updating the meta-model. However, they either do not necessarily guarantee convergence with a constant mini-batch size or require processing a larger number of tasks at every iteration, which is not viable for continual learning or cross-device federated learning where only a small number of tasks are available per-iteration or per-round. This paper addresses these issues by (i) proposing efficient memory-based stochastic algorithms for MAML with a diminishing convergence error, which only requires sampling a constant number of tasks and a constant number of examples per-task per-iteration; (ii) proposing communication-efficient distributed memory-based MAML algorithms for personalized federated learning in both the cross-device (w/ client sampling) and the cross-silo (w/o client sampling) settings. The key novelty of the proposed algorithms is to maintain an individual personalized model (aka memory) for each task besides the meta-model and only update them for the sampled tasks by a momentum method that incorporates historical updates at each iteration. The theoretical results significantly improve the optimization theory for MAML and the empirical results also corroborate the theory.
• Abstract（参考訳）: 近年,モデルに依存しないメタラーニング (MAML) が注目されている。 しかし,MAMLの確率的最適化はまだ未熟である。 MAMLの既存のアルゴリズムは、メタモデルを更新するイテレーション毎に、多数のタスクと各サンプリングされたタスクのデータポイントをサンプリングして `episode' というアイデアに基づいている。 しかし、それらは必ずしも一定のミニバッチサイズでの収束を保証するものではないか、あるいは各イテレーションでより多くのタスクを処理する必要がある。 本稿では,mamlに対する効率的なメモリベース確率アルゴリズムの提案と,コンバージェンスエラーの低減について述べる。これは,タスク毎のサンプル数とタスク毎のサンプル数のみをサンプリングすることであり,(ii)クロスデバイス(w/クライアントサンプリング)とクロスサイロ(w/oクライアントサンプリング)の両方において,分散メモリベースの分散mamlアルゴリズムを提案する。 提案アルゴリズムの重要な特徴は、メタモデル以外のタスクごとに個別のパーソナライズされたモデル(メモリ)を維持し、各イテレーションに履歴更新を組み込んだモーメント法によるサンプリングされたタスクに対してのみ更新することである。 理論結果はMAMLの最適化理論を大幅に改善し、経験的な結果も理論を裏付ける。

関連論文リスト

• Fast Adaptation with Kernel and Gradient based Meta Leaning [4.763682200721131]
  モデルAメタラーニング(MAML)の内輪と外輪の両方を改善するための2つのアルゴリズムを提案する。 最初のアルゴリズムは関数空間の最適化問題を再定義し、閉形式解を用いてモデルを更新する。 外ループでは、内ループの各タスクの損失に重みを割り当てることで、第2のアルゴリズムがメタラーナーの学習を調整する。
  論文  参考訳（メタデータ） (2024-11-01T07:05:03Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Energy-Efficient and Federated Meta-Learning via Projected Stochastic Gradient Ascent [79.58680275615752]
  エネルギー効率のよいメタラーニングフレームワークを提案する。 各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
  論文  参考訳（メタデータ） (2021-05-31T08:15:44Z)
• Sample Efficient Linear Meta-Learning by Alternating Minimization [74.40553081646995]
  低次元部分空間と回帰器を交互に学習する簡易交互最小化法(MLLAM)について検討する。 定数部分空間次元に対して、MLLAMはタスクあたり$Omega(log d)$サンプルしか必要とせず、ほぼ最適推定誤差が得られることを示す。 MLLAMと同様の強力な統計的保証を保証する新しいタスクサブセット選択スキームを提案する。
  論文  参考訳（メタデータ） (2021-05-18T06:46:48Z)
• B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
  本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。 分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
  論文  参考訳（メタデータ） (2021-01-01T09:19:48Z)
• A Nested Bi-level Optimization Framework for Robust Few Shot Learning [10.147225934340877]
  NestedMAMLはトレーニングタスクやインスタンスに重みを割り当てることを学ぶ。 合成および実世界のデータセットの実験では、NestedMAMLは「不要な」タスクやインスタンスの効果を効率的に緩和している。
  論文  参考訳（メタデータ） (2020-11-13T06:41:22Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• Weighted Meta-Learning [21.522768804834616]
  モデルに依存しないメタラーニング(MAML)のような多くの一般的なメタラーニングアルゴリズムは、微調整のためにターゲットサンプルへのアクセスのみを前提としている。 本研究では、異なるソースタスクの損失の重み付けに基づくメタ学習のための一般的なフレームワークを提供する。 重み付きMAMLアルゴリズムを含む経験的IPMに関する誤差を最小化する学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-03-20T19:00:42Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。