論文の概要: The Curse of Zero Task Diversity: On the Failure of Transfer Learning to
Outperform MAML and their Empirical Equivalence
- arxiv url: http://arxiv.org/abs/2112.13121v1
- Date: Fri, 24 Dec 2021 18:42:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-28 13:56:31.166032
- Title: The Curse of Zero Task Diversity: On the Failure of Transfer Learning to
Outperform MAML and their Empirical Equivalence
- Title（参考訳）: ゼロタスクの多様性の曲線--MAMLにおける伝達学習の失敗とその実証的等価性について
- Authors: Brando Miranda, Yu-Xiong Wang and Sanmi Koyejo
- Abstract要約: 数ショットの学習ベンチマークの解決には,トランスファーラーニングソリューションがすべて必要かも知れません。
我々はこの指標を、数ショットの学習ベンチマークの多様性係数と命名する。
転帰学習におけるMAML学習ソリューションの公平な比較を行う場合,両者が同一のメタテスト精度を有することを示す。
- 参考スコア（独自算出の注目度）: 19.556093984142418
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It has been recently observed that a transfer learning solution might be all
we needed to solve many few-shot learning benchmarks. This raises important
questions about when and how meta-learning algorithms should be deployed. In
this paper, we make a first step in clarifying these questions by first
formulating a computable metric for a few-shot learning benchmark that we
hypothesize is predictive of whether meta-learning solutions will succeed or
not. We name this metric the diversity coefficient of a few-shot learning
benchmark. Using the diversity coefficient, we show that the MiniImagenet
benchmark has zero diversity - according to twenty-four different ways to
compute the diversity. We proceed to show that when making a fair comparison
between MAML learned solutions to transfer learning, both have identical
meta-test accuracy. This suggests that transfer learning fails to outperform
MAML - contrary to what previous work suggests. Together, these two facts
provide the first test of whether diversity correlates with meta-learning
success and therefore show that a diversity coefficient of zero correlates with
a high similarity between transfer learning and MAML learned solutions -
especially at meta-test time. We therefore conjecture meta-learned solutions
have the same meta-test performance as transfer learning when the diversity
coefficient is zero.
- Abstract（参考訳）: 最近、数ショットの学習ベンチマークを解くのに必要なトランスファーラーニングソリューションがすべてであることが明らかになっている。
これにより、メタ学習アルゴリズムのデプロイ時期とデプロイ方法に関する重要な疑問が提起される。
本稿では,メタラーニングソリューションが成功するか否かを予測できると仮定した,数発の学習ベンチマークの計算可能なメトリックを最初に定式化することにより,これらの疑問を明らかにするための第一歩とする。
我々はこの指標を数ショットの学習ベンチマークの多様性係数と命名する。
多様性係数を用いることで、miniimagenetベンチマークの多様性はゼロであることが示され、多様性を計算するための24の異なる方法が示される。
この結果から,MAML学習における伝達学習ソリューションの公平な比較を行う場合,両者が同一のメタテスト精度を持つことを示した。
これは、トランスファーラーニングがMAMLよりも優れていないことを示唆している。
これら2つの事実は、多様性がメタラーニングの成功と相関するかどうかの最初のテストであり、したがって、ゼロの多様性係数は、特にメタテスト時間において、トランスファーラーニングとMAML学習ソリューションの高い類似性に相関していることを示す。
したがって、メタ学習ソリューションは、多様性係数がゼロのとき、転送学習と同じメタテスト性能を持つ。
関連論文リスト
- CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。
FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。
より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
論文 参考訳（メタデータ） (2024-10-08T02:23:16Z) - Learning to Learn with Indispensable Connections [6.040904021861969]
本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。
本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
論文 参考訳（メタデータ） (2023-04-06T04:53:13Z) - The Curse of Low Task Diversity: On the Failure of Transfer Learning to
Outperform MAML and Their Empirical Equivalence [20.965759895300327]
数ショットの学習ベンチマークでタスクの多様性を測定するための新しい指標である多様性係数を提案する。
多様性係数を用いて、人気の MiniImageNet と CIFAR-FS の少数ショット学習ベンチマークの多様性が低いことを示す。
論文 参考訳（メタデータ） (2022-08-02T15:49:11Z) - The Effect of Diversity in Meta-Learning [79.56118674435844]
少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。
近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。
タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
論文 参考訳（メタデータ） (2022-01-27T19:39:07Z) - Does MAML Only Work via Feature Re-use? A Data Centric Perspective [19.556093984142418]
メタ学習型MAMLの表現機能に光を当てた経験的結果を提供する。
機能再使用の低さをもたらす合成ベンチマークのファミリを定義することが可能であることを示す。
メタラーニングを再考する上での課題は、数ショットの学習データセットとベンチマークの設計にあると推測する。
論文 参考訳（メタデータ） (2021-12-24T20:18:38Z) - Meta-learning Amidst Heterogeneity and Ambiguity [11.061517140668961]
我々は異質性・曖昧性(MAHA)の中でメタラーニングと呼ばれる新しいメタラーニングフレームワークを考案する。
回帰と分類のいくつかの実験を広範囲に実施することにより、モデルの有効性を実証する。
論文 参考訳（メタデータ） (2021-07-05T18:54:31Z) - MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。
我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。
このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文 参考訳（メタデータ） (2021-06-29T12:52:26Z) - Comparing Transfer and Meta Learning Approaches on a Unified Few-Shot
Classification Benchmark [44.530605715850506]
大規模メタラーニングベンチマークとトランスファーラーニングベンチマークにおける最適なトランスファーとメタラーニングの家族間比較検討
その結果,ImageNetでのみトレーニングした場合においても,大規模転送方式(Big Transfer, BiT)はMD上での競合手法よりも優れていた。
評価基準の相違点を多数明らかにし,それらのいくつかを性能差の観点から検討した。
論文 参考訳（メタデータ） (2021-04-06T16:17:51Z) - A Taxonomy of Similarity Metrics for Markov Decision Processes [62.997667081978825]
近年、伝達学習は強化学習(RL)アルゴリズムをより効率的にすることに成功した。
本稿では,これらの指標を分類し,これまでに提案されている類似性の定義を分析する。
論文 参考訳（メタデータ） (2021-03-08T12:36:42Z) - Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。
我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
論文 参考訳（メタデータ） (2020-03-09T20:06:36Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。