論文の概要: Sharing to learn and learning to share; Fitting together Meta-Learning, Multi-Task Learning, and Transfer Learning: A meta review
- arxiv url: http://arxiv.org/abs/2111.12146v8
- Date: Wed, 16 Oct 2024 11:45:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-17 13:38:34.694760
- Title: Sharing to learn and learning to share; Fitting together Meta-Learning, Multi-Task Learning, and Transfer Learning: A meta review
- Title（参考訳）: 学習の共有と共有の学習 : メタラーニング、マルチタスクラーニング、トランスファーラーニングを融合したメタレビュー
- Authors: Richa Upadhyay, Ronald Phlypo, Rajkumar Saini, Marcus Liwicki,
- Abstract要約: 本稿では、これらの学習アルゴリズムを2つ組み合わせた研究についてレビューする。
文献から蓄積した知識に基づいて、汎用的なタスクに依存しないモデルに依存しない学習ネットワークを仮定する。
- 参考スコア（独自算出の注目度）: 4.462334751640166
- License:
- Abstract: Integrating knowledge across different domains is an essential feature of human learning. Learning paradigms such as transfer learning, meta-learning, and multi-task learning reflect the human learning process by exploiting the prior knowledge for new tasks, encouraging faster learning and good generalization for new tasks. This article gives a detailed view of these learning paradigms and their comparative analysis. The weakness of one learning algorithm turns out to be a strength of another, and thus, merging them is a prevalent trait in the literature. Numerous research papers focus on each of these learning paradigms separately and provide a comprehensive overview of them. However, this article reviews research studies that combine (two of) these learning algorithms. This survey describes how these techniques are combined to solve problems in many different fields of research, including computer vision, natural language processing, hyper-spectral imaging, and many more, in a supervised setting only. Based on the knowledge accumulated from the literature, we hypothesize a generic task-agnostic and model-agnostic learning network - an ensemble of meta-learning, transfer learning, and multi-task learning, termed Multi-modal Multi-task Meta Transfer Learning. We also present some open research questions, limitations, and future research directions for this proposed network. The aim of this article is to spark interest among scholars in effectively merging existing learning algorithms with the intention of advancing research in this field. Instead of presenting experimental results, we invite readers to explore and contemplate techniques for merging algorithms while navigating through their limitations.
- Abstract（参考訳）: 異なるドメイン間で知識を統合することは、人間の学習の重要な特徴である。
トランスファーラーニング、メタ・ラーニング、マルチタスクラーニングといった学習パラダイムは、従来の知識を新しいタスクに活用することで人間の学習プロセスを反映し、より高速な学習と新しいタスクの優れた一般化を促進する。
本稿は、これらの学習パラダイムとその比較分析について、詳細な知見を提供する。
ある学習アルゴリズムの弱点は、他の学習アルゴリズムの強みであることが判明した。
多くの研究論文がこれらの学習パラダイムを個別に取り上げ、それらの概要を概観している。
しかし,本稿では,これら2つの学習アルゴリズムを組み合わせた研究についてレビューする。
この調査では、コンピュータビジョン、自然言語処理、ハイパースペクトルイメージングなど、さまざまな研究分野の問題を解決するためにこれらの技術を組み合わせる方法について解説する。
文献から蓄積した知識に基づいて,メタラーニング,トランスファーラーニング,マルチタスクラーニングという,汎用的なタスク非依存型およびモデル非依存型学習ネットワークを仮定する。
また,提案するネットワークについて,いくつかのオープンな研究課題,制限,今後の研究方向性を提示する。
本稿の目的は、既存の学習アルゴリズムを効果的に融合させ、この分野の研究を進めることを目的とした研究者の間での関心を喚起することである。
実験結果を提示する代わりに、私たちは読者にアルゴリズムをマージする技術を探求し、熟考し、その限界をナビゲートするように促します。
関連論文リスト
- When Meta-Learning Meets Online and Continual Learning: A Survey [39.53836535326121]
メタ学習は学習アルゴリズムを最適化するためのデータ駆動型アプローチである。
継続的な学習とオンライン学習はどちらも、ストリーミングデータでモデルを漸進的に更新する。
本稿では,一貫した用語と形式記述を用いて,様々な問題設定を整理する。
論文 参考訳（メタデータ） (2023-11-09T09:49:50Z) - Multitask Learning with No Regret: from Improved Confidence Bounds to
Active Learning [79.07658065326592]
推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。
タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。
本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-03T13:08:09Z) - Advances and Challenges in Meta-Learning: A Technical Review [7.149235250835041]
メタ学習は、複数のタスクから知識を得る能力を持つ学習システムに力を与える。
このレビューは、データの不足や入手コストの低い実世界のアプリケーションにおいて、その重要性を強調している。
論文 参考訳（メタデータ） (2023-07-10T17:32:15Z) - Learning with Limited Samples -- Meta-Learning and Applications to
Communication Systems [46.760568562468606]
メタ学習は、新しいタスクに迅速に適応できる学習アルゴリズムを最適化する。
このレビュー・モノグラフは、原則、アルゴリズム、理論、工学的応用をカバーし、メタラーニングの紹介を提供する。
論文 参考訳（メタデータ） (2022-10-03T17:15:36Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳（メタデータ） (2022-08-27T09:27:36Z) - On the Efficiency of Integrating Self-supervised Learning and
Meta-learning for User-defined Few-shot Keyword Spotting [51.41426141283203]
ユーザ定義キーワードスポッティングは、ユーザが定義する新しい音声用語を検出するタスクである。
これまでの研究は、自己教師付き学習モデルを取り入れたり、メタ学習アルゴリズムを適用しようとするものだった。
この結果から,HuBERTとMatching Networkを組み合わせることで,最適な結果が得られることがわかった。
論文 参考訳（メタデータ） (2022-04-01T10:59:39Z) - Ten Quick Tips for Deep Learning in Biology [116.78436313026478]
機械学習は、データのパターンを認識し、予測モデリングに使用するアルゴリズムの開発と応用に関係している。
ディープラーニングは、独自の機械学習のサブフィールドになっている。
生物学的研究の文脈において、ディープラーニングは高次元の生物学的データから新しい洞察を導き出すためにますます使われてきた。
論文 参考訳（メタデータ） (2021-05-29T21:02:44Z) - Meta-Learning in Neural Networks: A Survey [4.588028371034406]
本調査では,現代メタラーニングの展望について述べる。
まずメタラーニングの定義について議論し、関連する分野について位置づける。
そこで我々はメタラーニング手法の空間をより包括的に分析する新しい分類法を提案する。
論文 参考訳（メタデータ） (2020-04-11T16:34:24Z) - Provable Meta-Learning of Linear Representations [114.656572506859]
我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。
また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
論文 参考訳（メタデータ） (2020-02-26T18:21:34Z) - Multitask learning over graphs: An Approach for Distributed, Streaming
Machine Learning [46.613346075513206]
マルチタスク学習は帰納的伝達学習のアプローチである。
近年、分散ストリーミング方式でデータを収集する能力が高まっている。
これは、分散(またはネットワーク化された)システム上でのストリーミングデータから、複数のタスクを共同で学習するための新しい戦略の設計を必要とする。
論文 参考訳（メタデータ） (2020-01-07T15:32:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。