論文の概要: Bridging Multi-Task Learning and Meta-Learning: Towards Efficient
Training and Effective Adaptation
- arxiv url: http://arxiv.org/abs/2106.09017v1
- Date: Wed, 16 Jun 2021 17:58:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-17 17:46:20.670613
- Title: Bridging Multi-Task Learning and Meta-Learning: Towards Efficient
Training and Effective Adaptation
- Title（参考訳）: マルチタスク学習とメタラーニングの橋渡し:効率的なトレーニングと効果的な適応に向けて
- Authors: Haoxiang Wang, Han Zhao, Bo Li
- Abstract要約: マルチタスク学習(MTL)は、複数のタスクを共同で学習することで一般化することを目的としている。
現代のメタ学習は、テストフェーズ中にラベルが限定された目に見えないタスクを可能にし、それらに対する迅速な適応を期待する。
MTLは、勾配に基づくメタラーニング(GBML)アルゴリズムのクラスと同じ最適化形式を共有していることを示す。
- 参考スコア（独自算出の注目度）: 19.792537914018933
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-task learning (MTL) aims to improve the generalization of several
related tasks by learning them jointly. As a comparison, in addition to the
joint training scheme, modern meta-learning allows unseen tasks with limited
labels during the test phase, in the hope of fast adaptation over them. Despite
the subtle difference between MTL and meta-learning in the problem formulation,
both learning paradigms share the same insight that the shared structure
between existing training tasks could lead to better generalization and
adaptation. In this paper, we take one important step further to understand the
close connection between these two learning paradigms, through both theoretical
analysis and empirical investigation. Theoretically, we first demonstrate that
MTL shares the same optimization formulation with a class of gradient-based
meta-learning (GBML) algorithms. We then prove that for over-parameterized
neural networks with sufficient depth, the learned predictive functions of MTL
and GBML are close. In particular, this result implies that the predictions
given by these two models are similar over the same unseen task. Empirically,
we corroborate our theoretical findings by showing that, with proper
implementation, MTL is competitive against state-of-the-art GBML algorithms on
a set of few-shot image classification benchmarks. Since existing GBML
algorithms often involve costly second-order bi-level optimization, our
first-order MTL method is an order of magnitude faster on large-scale datasets
such as mini-ImageNet. We believe this work could help bridge the gap between
these two learning paradigms, and provide a computationally efficient
alternative to GBML that also supports fast task adaptation.
- Abstract（参考訳）: マルチタスク学習(MTL)は、複数のタスクを共同で学習することで一般化することを目的としている。
比較として、ジョイントトレーニングスキームに加えて、現代のメタラーニングは、テストフェーズ中に限られたラベルを持つ見知らぬタスクを許容し、それらに対する迅速な適応を期待する。
問題定式化におけるMTLとメタラーニングの微妙な違いにもかかわらず、両方の学習パラダイムは、既存のトレーニングタスク間の共有構造がより一般化と適応をもたらすという知見を共有している。
本稿では,この2つの学習パラダイムの密接な関係を理解するために,理論的解析と実証的研究の両面から重要な一歩を踏み出した。
理論的には、MTLはグラデーションベースメタラーニング(GBML)アルゴリズムのクラスと同じ最適化形式を共有している。
そして、十分な深さを持つ過パラメータニューラルネットワークの場合、MTLとGBMLの学習された予測関数は近いことを証明した。
特に、この結果は、この2つのモデルによって与えられる予測が、同じ未知のタスクよりも類似していることを示している。
実験により,MTLは,適切な実装により,いくつかの画像分類ベンチマークにおいて,最先端のGBMLアルゴリズムと競合することを示した。
既存のGBMLアルゴリズムは2階二段最適化にコストがかかることが多いため、私たちの一階MTL法はmini-ImageNetのような大規模データセットよりも桁違いに高速である。
この作業は、これらの2つの学習パラダイムのギャップを埋め、高速なタスク適応をサポートするGBMLに代わる計算効率の良い代替手段を提供するのに役立つと考えています。
関連論文リスト
- ConML: A Universal Meta-Learning Framework with Task-Level Contrastive Learning [49.447777286862994]
ConMLは、さまざまなメタ学習アルゴリズムに適用可能な、普遍的なメタ学習フレームワークである。
我々は、ConMLが最適化ベース、メートル法ベース、およびアモータイズベースメタ学習アルゴリズムとシームレスに統合できることを実証した。
論文 参考訳（メタデータ） (2024-10-08T12:22:10Z) - MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。
提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
論文 参考訳（メタデータ） (2024-06-17T10:12:45Z) - Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
本稿では,既存のMTL手法の効率性に焦点をあてる。
バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。
また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
論文 参考訳（メタデータ） (2024-02-05T22:15:55Z) - Robust Unsupervised Multi-task and Transfer Learning on Gaussian Mixture Models [13.07916598175886]
GMMにおけるマルチタスク学習問題について検討する。
本稿では,EMアルゴリズムに基づくマルチタスクGMM学習手法を提案する。
我々はGMMにおける伝達学習の課題に取り組むためのアプローチを一般化する。
論文 参考訳（メタデータ） (2022-09-30T04:35:12Z) - Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。
タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。
実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2021-06-04T20:15:34Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - A Nested Bi-level Optimization Framework for Robust Few Shot Learning [10.147225934340877]
NestedMAMLはトレーニングタスクやインスタンスに重みを割り当てることを学ぶ。
合成および実世界のデータセットの実験では、NestedMAMLは「不要な」タスクやインスタンスの効果を効率的に緩和している。
論文 参考訳（メタデータ） (2020-11-13T06:41:22Z) - Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。
提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。
シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文 参考訳（メタデータ） (2020-10-06T16:51:09Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳（メタデータ） (2020-04-28T09:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。