論文の概要: Convergence of First-Order Algorithms for Meta-Learning with Moreau
Envelopes
- arxiv url: http://arxiv.org/abs/2301.06806v1
- Date: Tue, 17 Jan 2023 11:04:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-18 14:18:08.310914
- Title: Convergence of First-Order Algorithms for Meta-Learning with Moreau
Envelopes
- Title（参考訳）: Moreau Envelopesを用いたメタラーニングのための一次アルゴリズムの収束
- Authors: Konstantin Mishchenko, Slavom\'ir Hanzely, Peter Richt\'arik
- Abstract要約: 本稿では,第1次モデル非依存メタラーニング(FO-MAML)の客観的モロー解近傍への収束について述べる。
我々の主要な理論的成果は、不正確なSGDフレームワークの理論的改善である。
- 参考スコア（独自算出の注目度）: 6.935471115003109
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In this work, we consider the problem of minimizing the sum of Moreau
envelopes of given functions, which has previously appeared in the context of
meta-learning and personalized federated learning. In contrast to the existing
theory that requires running subsolvers until a certain precision is reached,
we only assume that a finite number of gradient steps is taken at each
iteration. As a special case, our theory allows us to show the convergence of
First-Order Model-Agnostic Meta-Learning (FO-MAML) to the vicinity of a
solution of Moreau objective. We also study a more general family of
first-order algorithms that can be viewed as a generalization of FO-MAML. Our
main theoretical achievement is a theoretical improvement upon the inexact SGD
framework. In particular, our perturbed-iterate analysis allows for tighter
guarantees that improve the dependency on the problem's conditioning. In
contrast to the related work on meta-learning, ours does not require any
assumptions on the Hessian smoothness, and can leverage smoothness and
convexity of the reformulation based on Moreau envelopes. Furthermore, to fill
the gaps in the comparison of FO-MAML to the Implicit MAML (iMAML), we show
that the objective of iMAML is neither smooth nor convex, implying that it has
no convergence guarantees based on the existing theory.
- Abstract（参考訳）: 本研究では,メタラーニングやパーソナライズド・フェデレーション・ラーニングの文脈にこれまで現れてきた,与えられた関数のモローエンベロープの総和を最小化する問題について考察する。
特定の精度に達するまでサブソルバを実行する必要がある既存の理論とは対照的に、我々は各イテレーションで有限個の勾配ステップが取られていると仮定する。
特別の場合として、この理論はモローの解の近傍に一階モデル非依存メタラーニング(FO-MAML)の収束を示すことができる。
また、FO-MAMLの一般化と見なせる1次アルゴリズムのより一般的なファミリについても検討する。
我々の主要な理論的成果は、不正確なSGDフレームワークの理論的改善である。
特に、摂動文解析は、問題の条件付けへの依存性を改善するためのより厳密な保証を可能にします。
メタラーニングに関する関連する研究とは対照的に、ヘッセンの滑らかさに関する仮定は一切必要とせず、モローエンベロープに基づく改革の滑らかさと凸性を活用することができる。
さらに, FO-MAML と Implicit MAML (iMAML) の比較におけるギャップを埋めるために, iMAML の目的が滑らかでも凸でもないことを示し, 既存の理論に基づく収束保証がないことを示す。
関連論文リスト
- Performative Reinforcement Learning with Linear Markov Decision Process [14.75815792682734]
提案手法がマルコフ決定過程の報酬と遷移の両方に影響を及ぼすような表現的強化学習の設定について検討する。
大規模MDPの主要な理論モデルであるEmphlinear Markov決定過程を一般化する。
論文 参考訳（メタデータ） (2024-11-07T23:04:48Z) - A New First-Order Meta-Learning Algorithm with Convergence Guarantees [37.85411810113886]
グラディエントベースのメタ学習、特にMAMLは、この目標を達成するための実行可能なソリューションとして現れています。
MAMLが遭遇する問題の1つは、メタグラディエントを計算するのに必要な計算とメモリの負荷である。
我々は、他の一階変種とは異なり、MAMLの目的の定常点に収束することを証明した新しい一階変種を提案する。
論文 参考訳（メタデータ） (2024-09-05T16:37:26Z) - Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。
数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
論文 参考訳（メタデータ） (2023-08-31T14:16:30Z) - MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。
我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。
このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文 参考訳（メタデータ） (2021-06-29T12:52:26Z) - Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and
Personalized Federated Learning [56.17603785248675]
モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。
既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。
本稿では,MAMLのメモリベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-09T08:47:58Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。
学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
論文 参考訳（メタデータ） (2020-06-23T17:33:14Z) - Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。
特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
論文 参考訳（メタデータ） (2020-02-18T19:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。