論文の概要: A New First-Order Meta-Learning Algorithm with Convergence Guarantees

• arxiv url: http://arxiv.org/abs/2409.03682v1
• Date: Thu, 5 Sep 2024 16:37:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 19:53:43.170743
• Title: A New First-Order Meta-Learning Algorithm with Convergence Guarantees
• Title（参考訳）: 収束保証付き一階メタラーニングアルゴリズム
• Authors: El Mahdi Chayti, Martin Jaggi,
• Abstract要約: グラディエントベースのメタ学習、特にMAMLは、この目標を達成するための実行可能なソリューションとして現れています。 MAMLが遭遇する問題の1つは、メタグラディエントを計算するのに必要な計算とメモリの負荷である。 我々は、他の一階変種とは異なり、MAMLの目的の定常点に収束することを証明した新しい一階変種を提案する。
• 参考スコア（独自算出の注目度）: 37.85411810113886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning new tasks by drawing on prior experience gathered from other (related) tasks is a core property of any intelligent system. Gradient-based meta-learning, especially MAML and its variants, has emerged as a viable solution to accomplish this goal. One problem MAML encounters is its computational and memory burdens needed to compute the meta-gradients. We propose a new first-order variant of MAML that we prove converges to a stationary point of the MAML objective, unlike other first-order variants. We also show that the MAML objective does not satisfy the smoothness assumption assumed in previous works; we show instead that its smoothness constant grows with the norm of the meta-gradient, which theoretically suggests the use of normalized or clipped-gradient methods compared to the plain gradient method used in previous works. We validate our theory on a synthetic experiment.
• Abstract（参考訳）: 他の(関連する)タスクから収集された事前経験に基づいて新しいタスクを学ぶことは、インテリジェントシステムの中核的な特性である。 グラディエントベースのメタ学習、特にMAMLとその変種は、この目標を達成するための実行可能なソリューションとして登場した。 MAMLが遭遇する問題の1つは、メタグラディエントを計算するのに必要な計算とメモリの負荷である。 我々は、他の一階変種とは異なり、MAMLの目的の定常点に収束することを証明した新しい一階変種を提案する。 また,MAMLの目的が従来の研究で仮定された滑らかさの仮定を満たさないことを示すとともに,その滑らかさ定数がメタグラディエントのノルムとともに増加することを示す。 我々はこの理論を合成実験で検証する。

関連論文リスト

• Fast Adaptation with Kernel and Gradient based Meta Leaning [4.763682200721131]
  モデルAメタラーニング(MAML)の内輪と外輪の両方を改善するための2つのアルゴリズムを提案する。 最初のアルゴリズムは関数空間の最適化問題を再定義し、閉形式解を用いてモデルを更新する。 外ループでは、内ループの各タスクの損失に重みを割り当てることで、第2のアルゴリズムがメタラーナーの学習を調整する。
  論文  参考訳（メタデータ） (2024-11-01T07:05:03Z)
• Convergence of First-Order Algorithms for Meta-Learning with Moreau Envelopes [6.935471115003109]
  本稿では,第1次モデル非依存メタラーニング(FO-MAML)の客観的モロー解近傍への収束について述べる。 我々の主要な理論的成果は、不正確なSGDフレームワークの理論的改善である。
  論文  参考訳（メタデータ） (2023-01-17T11:04:10Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Meta-Learning with Adjoint Methods [16.753336086160598]
  メタラーニング(MAML)は、タスクファミリーの優れた初期化を見つけるために広く使われている。 その成功にもかかわらず、MAMLにおける重要な課題は、サンプリングされたタスクに対する長いトレーニング軌跡の初期化で勾配を計算することである。 本稿では,この問題を解決するためにAdjoint MAML (A-MAML)を提案する。 人工メタ学習と実世界のメタ学習の両方において、我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2021-10-16T01:18:50Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• Repurposing Pretrained Models for Robust Out-of-domain Few-Shot Learning [23.135033752967598]
  そこで本研究では,事前学習済みmamlチェックポイントを新たに提案する手法を提案する。 潜在的分布ミスマッチのため、元のMAMLステップはもはや最適ではないかもしれない。 本稿では,代替メタテスト手法を提案し,逆行訓練と不確実性に基づくステップ適応を組み合わせる。
  論文  参考訳（メタデータ） (2021-03-16T12:53:09Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。