論文の概要: How to Train Your MAML to Excel in Few-Shot Classification

• arxiv url: http://arxiv.org/abs/2106.16245v1
• Date: Wed, 30 Jun 2021 17:56:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-01 13:09:44.051608
• Title: How to Train Your MAML to Excel in Few-Shot Classification
• Title（参考訳）: Few-Shot 分類における MAML と Excel のトレーニング方法
• Authors: Han-Jia Ye, Wei-Lun Chao
• Abstract要約: そこで本研究では,MAMLの訓練方法について紹介する。 我々のアプローチはUNICORN-MAMLと呼ばれ、最先端のアルゴリズムに匹敵する、あるいは性能に優れる。
• 参考スコア（独自算出の注目度）: 26.51244463209443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model-agnostic meta-learning (MAML) is arguably the most popular meta-learning algorithm nowadays, given its flexibility to incorporate various model architectures and to be applied to different problems. Nevertheless, its performance on few-shot classification is far behind many recent algorithms dedicated to the problem. In this paper, we point out several key facets of how to train MAML to excel in few-shot classification. First, we find that a large number of gradient steps are needed for the inner loop update, which contradicts the common usage of MAML for few-shot classification. Second, we find that MAML is sensitive to the permutation of class assignments in meta-testing: for a few-shot task of $N$ classes, there are exponentially many ways to assign the learned initialization of the $N$-way classifier to the $N$ classes, leading to an unavoidably huge variance. Third, we investigate several ways for permutation invariance and find that learning a shared classifier initialization for all the classes performs the best. On benchmark datasets such as MiniImageNet and TieredImageNet, our approach, which we name UNICORN-MAML, performs on a par with or even outperforms state-of-the-art algorithms, while keeping the simplicity of MAML without adding any extra sub-networks.
• Abstract（参考訳）: モデル非依存型メタラーニング(maml)は、様々なモデルアーキテクチャを取り入れ、様々な問題に適用できる柔軟性を考えると、現在最も人気のあるメタラーニングアルゴリズムである。 それでも、少数ショットの分類におけるその性能は、この問題に特化している最近の多くのアルゴリズムに及ばない。 本稿では,MAMLの訓練方法のいくつかの重要な側面を指摘する。 まず、インナーループ更新には多数の勾配ステップが必要であることが分かり、これは数ショット分類におけるMAMLの一般的な使用法とは矛盾する。 第二に、MAMLはメタテストにおけるクラス代入の置換に敏感である:数ショットの$N$クラスに対して、学習した$N$-wayクラスの初期化を$N$クラスに割り当てる方法は指数関数的に多く存在し、必然的に大きなばらつきをもたらす。 第3に、置換不変性のいくつかの方法を調査し、すべてのクラスに対する共有分類子の初期化の学習が最善であることを示す。 MiniImageNetやTieredImageNetといったベンチマークデータセットでは、UNICORN-MAMLと名づけた我々のアプローチは、最先端のアルゴリズムに匹敵するパフォーマンスを保ちながら、追加のサブネットワークを追加せずにMAMLの単純さを維持する。

関連論文リスト

• Many or Few Samples? Comparing Transfer, Contrastive and Meta-Learning in Encrypted Traffic Classification [68.19713459228369]
  我々は、トランスファーラーニング、メタラーニング、コントラストラーニングを、参照機械学習(ML)ツリーベースおよびモノリシックDLモデルと比較する。 i) 大規模なデータセットを用いて,より一般的な表現を得られること,(ii) コントラスト学習が最良の手法であることを示している。 MLツリーベースでは大きなタスクは処理できないが、学習した表現を再利用することで、小さなタスクにも適合するが、DLメソッドはツリーベースモデルのパフォーマンスにも到達している。
  論文  参考訳（メタデータ） (2023-05-21T11:20:49Z)
• Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
  モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。 古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。 我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-03-31T13:46:41Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• Repurposing Pretrained Models for Robust Out-of-domain Few-Shot Learning [23.135033752967598]
  そこで本研究では,事前学習済みmamlチェックポイントを新たに提案する手法を提案する。 潜在的分布ミスマッチのため、元のMAMLステップはもはや最適ではないかもしれない。 本稿では,代替メタテスト手法を提案し,逆行訓練と不確実性に基づくステップ適応を組み合わせる。
  論文  参考訳（メタデータ） (2021-03-16T12:53:09Z)
• A Nested Bi-level Optimization Framework for Robust Few Shot Learning [10.147225934340877]
  NestedMAMLはトレーニングタスクやインスタンスに重みを割り当てることを学ぶ。 合成および実世界のデータセットの実験では、NestedMAMLは「不要な」タスクやインスタンスの効果を効率的に緩和している。
  論文  参考訳（メタデータ） (2020-11-13T06:41:22Z)
• MetaMix: Improved Meta-Learning with Interpolation-based Consistency Regularization [14.531741503372764]
  バックボーンモデルを正規化するためのMetaMixという手法を提案する。 各エピソード内で仮想フィーチャとターゲットのペアを生成し、バックボーンモデルを標準化する。 任意のMAMLベースのアルゴリズムと統合でき、新しいタスクをより一般化した決定境界を学ぶことができる。
  論文  参考訳（メタデータ） (2020-09-29T02:44:13Z)
• Many-Class Few-Shot Learning on Multi-Granularity Class Hierarchy [57.68486382473194]
  我々は,教師付き学習とメタ学習の両方において,MCFS(Multi-class few-shot)問題について検討した。 本稿では,クラス階層を事前知識として活用し,粗大な分類器を訓練する。 モデル「メモリ拡張階層分類ネットワーク(MahiNet)」は、各粗いクラスが複数の細かなクラスをカバーできる粗い粒度分類を行う。
  論文  参考訳（メタデータ） (2020-06-28T01:11:34Z)
• Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need? [72.00712736992618]
  メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。 追加の増量は自己蒸留によって達成できる。 我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
  論文  参考訳（メタデータ） (2020-03-25T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。