論文の概要: The Effect of Diversity in Meta-Learning

• arxiv url: http://arxiv.org/abs/2201.11775v1
• Date: Thu, 27 Jan 2022 19:39:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 12:19:16.280270
• Title: The Effect of Diversity in Meta-Learning
• Title（参考訳）: メタラーニングにおける多様性の効果
• Authors: Ramnath Kumar, Tristan Deleu and Yoshua Bengio
• Abstract要約: 少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
• 参考スコア（独自算出の注目度）: 79.56118674435844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-shot learning aims to learn representations that can tackle novel tasks given a small number of examples. Recent studies show that task distribution plays a vital role in the model's performance. Conventional wisdom is that task diversity should improve the performance of meta-learning. In this work, we find evidence to the contrary; we study different task distributions on a myriad of models and datasets to evaluate the effect of task diversity on meta-learning algorithms. For this experiment, we train on multiple datasets, and with three broad classes of meta-learning models - Metric-based (i.e., Protonet, Matching Networks), Optimization-based (i.e., MAML, Reptile, and MetaOptNet), and Bayesian meta-learning models (i.e., CNAPs). Our experiments demonstrate that the effect of task diversity on all these algorithms follows a similar trend, and task diversity does not seem to offer any benefits to the learning of the model. Furthermore, we also demonstrate that even a handful of tasks, repeated over multiple batches, would be sufficient to achieve a performance similar to uniform sampling and draws into question the need for additional tasks to create better models.
• Abstract（参考訳）: 少数の例から見て、新しいタスクに取り組むことができる表現を学ぶことを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を果たすことが示されている。 従来の知恵では、タスクの多様性はメタ学習のパフォーマンスを改善するべきである。 本研究では,タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,無数のモデルとデータセット上で異なるタスク分布について検討する。 この実験では、複数のデータセットをトレーニングし、メトリクスベース(すなわち、protonet, matching networks)、最適化ベース(maml, reptile, metaoptnet)、ベイジアンメタラーニングモデル(すなわち、cnaps)の3種類のメタラーニングモデルをトレーニングします。 実験の結果,これらのアルゴリズムに対するタスクの多様性の影響も同様の傾向を示し,タスクの多様性はモデルの学習に何の恩恵も与えないことがわかった。 さらに、複数のバッチを繰り返す少数のタスクであっても、均一なサンプリングと同様のパフォーマンスを達成するには十分であることを実証し、より良いモデルを作成するための追加タスクの必要性を疑問視する。

関連論文リスト

• Meta-Learning with Heterogeneous Tasks [42.695853959923625]
  HeTRoM(Heterogeneous Tasks Robust Meta-learning) 双方向最適化に基づく効率的な反復最適化アルゴリズム その結果,提案手法の柔軟性が示され,多様なタスク設定に適応できることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T16:32:23Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
  メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。 タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。 本稿では、経験的および理論的分析を通して、この見解に挑戦する。
  論文  参考訳（メタデータ） (2023-07-18T01:53:18Z)
• An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training [79.78201886156513]
  本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。 提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
  論文  参考訳（メタデータ） (2023-06-29T17:59:57Z)
• Explaining the Effectiveness of Multi-Task Learning for Efficient Knowledge Extraction from Spine MRI Reports [2.5953185061765884]
  一つのマルチタスクモデルがタスク固有のモデルの性能にマッチすることを示す。 内科医による頚椎, 腰椎への注視所見について検討した。
  論文  参考訳（メタデータ） (2022-05-06T01:51:19Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Combat Data Shift in Few-shot Learning with Knowledge Graph [42.59886121530736]
  現実世界のアプリケーションでは、少数ショットの学習パラダイムはデータシフトに悩まされることが多い。 既存の少数ショット学習アプローチのほとんどは、データシフトを考慮して設計されていない。 本稿では,タスク固有表現とタスク共有表現を抽出するメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-27T12:35:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。