論文の概要: Sign-MAML: Efficient Model-Agnostic Meta-Learning by SignSGD

• arxiv url: http://arxiv.org/abs/2109.07497v1
• Date: Wed, 15 Sep 2021 18:01:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-18 09:44:19.255990
• Title: Sign-MAML: Efficient Model-Agnostic Meta-Learning by SignSGD
• Title（参考訳）: Sign-MAML:SignSGDによるモデル非依存メタラーニング
• Authors: Chen Fan, Parikshit Ram, Sijia Liu
• Abstract要約: モデルに依存しないメタラーニング(MAML)のための新しい計算効率の高い1次アルゴリズムを提案する。 我々は,SGDを指向したBLOのレンズを用いてMAMLが,学習したメタモデルの1次勾配のみを必要とする交互最適化スキームを自然に生成することを示す。 実際に,Sign-MAMLがFO-MAMLより優れていることを示す。
• 参考スコア（独自算出の注目度）: 16.417263188143313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a new computationally-efficient first-order algorithm for Model-Agnostic Meta-Learning (MAML). The key enabling technique is to interpret MAML as a bilevel optimization (BLO) problem and leverage the sign-based SGD(signSGD) as a lower-level optimizer of BLO. We show that MAML, through the lens of signSGD-oriented BLO, naturally yields an alternating optimization scheme that just requires first-order gradients of a learned meta-model. We term the resulting MAML algorithm Sign-MAML. Compared to the conventional first-order MAML (FO-MAML) algorithm, Sign-MAML is theoretically-grounded as it does not impose any assumption on the absence of second-order derivatives during meta training. In practice, we show that Sign-MAML outperforms FO-MAML in various few-shot image classification tasks, and compared to MAML, it achieves a much more graceful tradeoff between classification accuracy and computation efficiency.
• Abstract（参考訳）: モデルに依存しないメタラーニング(MAML)のための新しい計算効率の高い1次アルゴリズムを提案する。 鍵となる有効化技術は、MAMLを双方向最適化(BLO)問題として解釈し、符号ベースのSGD(signSGD)をBLOの下位最適化として利用することである。 我々は,SGDを指向したBLOのレンズを用いてMAMLが,学習したメタモデルの1次勾配のみを必要とする交互最適化スキームを自然に生成することを示す。 結果のMAMLアルゴリズムをSign-MAMLと呼ぶ。 従来の one-order MAML (FO-MAML) アルゴリズムと比較して、Sign-MAML はメタトレーニング中に 2-order derivatives が存在しないという仮定を課さないため理論的に基礎を置いている。 実際には,Sign-MAMLはFO-MAMLよりも多くの画像分類タスクで優れており,MAMLと比較して,分類精度と計算効率のトレードオフがはるかに良好であることを示す。

関連論文リスト

• Sharp-MAML: Sharpness-Aware Model-Agnostic Meta Learning [71.26635165491105]
  我々はシャープ・MAMLと呼ぶシャープネスを意識したMAMLアプローチを開発した。 Sharp-MAMLとその計算効率が,既存のMAMLベースラインより優れていることを実証的に実証した。 これは、二段階学習の文脈において、シャープネスを意識した最小化に関する最初の経験的および理論的研究である。
  論文  参考訳（メタデータ） (2022-06-08T16:20:11Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Is Bayesian Model-Agnostic Meta Learning Better than Model-Agnostic Meta Learning, Provably? [25.00480072097939]
  モデル非依存型メタラーニング(MAML)とベイジアンMAMLのメタテストリスクを比較した。 分布非依存および線状セントロイド症例の両方において,ベイジアンMAMLは,MAMLよりも明らかにメタテストリスクが低いことが確認された。
  論文  参考訳（メタデータ） (2022-03-06T21:38:18Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)
• B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
  本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。 分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
  論文  参考訳（メタデータ） (2021-01-01T09:19:48Z)
• Meta Learning in the Continuous Time Limit [36.23467808322093]
  モデルAメタラーニング(MAML)の学習力学の基礎となる常微分方程式(ODE)を確立する。 本稿では,既存のMAMLトレーニング手法に関連する計算負担を大幅に軽減するBI-MAMLトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-19T01:47:31Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。