論文の概要: When Meta-Learning Meets Online and Continual Learning: A Survey
- arxiv url: http://arxiv.org/abs/2311.05241v2
- Date: Fri, 26 Jul 2024 09:39:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-29 18:41:36.589889
- Title: When Meta-Learning Meets Online and Continual Learning: A Survey
- Title（参考訳）: Meta-Learningがオンラインと継続的学習に出会った時: 調査より
- Authors: Jaehyeon Son, Soochan Lee, Gunhee Kim,
- Abstract要約: メタ学習は学習アルゴリズムを最適化するためのデータ駆動型アプローチである。
継続的な学習とオンライン学習はどちらも、ストリーミングデータでモデルを漸進的に更新する。
本稿では,一貫した用語と形式記述を用いて,様々な問題設定を整理する。
- 参考スコア（独自算出の注目度）: 39.53836535326121
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Over the past decade, deep neural networks have demonstrated significant success using the training scheme that involves mini-batch stochastic gradient descent on extensive datasets. Expanding upon this accomplishment, there has been a surge in research exploring the application of neural networks in other learning scenarios. One notable framework that has garnered significant attention is meta-learning. Often described as "learning to learn," meta-learning is a data-driven approach to optimize the learning algorithm. Other branches of interest are continual learning and online learning, both of which involve incrementally updating a model with streaming data. While these frameworks were initially developed independently, recent works have started investigating their combinations, proposing novel problem settings and learning algorithms. However, due to the elevated complexity and lack of unified terminology, discerning differences between the learning frameworks can be challenging even for experienced researchers. To facilitate a clear understanding, this paper provides a comprehensive survey that organizes various problem settings using consistent terminology and formal descriptions. By offering an overview of these learning paradigms, our work aims to foster further advancements in this promising area of research.
- Abstract（参考訳）: 過去10年間で、ディープニューラルネットワークは、広範囲なデータセットに対するミニバッチ確率勾配降下を伴うトレーニングスキームを使用して大きな成功を収めた。
この成果により、他の学習シナリオにおけるニューラルネットワークの適用を探求する研究が急増した。
注目すべきフレームワークのひとつにメタラーニングがある。
メタラーニングは、学習アルゴリズムを最適化するためのデータ駆動のアプローチである。
その他の関心分野としては、連続的な学習とオンライン学習があり、どちらもストリーミングデータでモデルを漸進的に更新する。
これらのフレームワークは当初独立して開発されたが、最近の研究はそれらの組み合わせを調査し始め、新しい問題設定と学習アルゴリズムを提案している。
しかし、複雑化と統一用語の欠如により、経験豊富な研究者でさえ、学習フレームワークの違いを識別することは困難である。
本稿では,一貫した用語と形式的記述を用いて,様々な問題設定を整理する総合的な調査を行う。
本研究は,これらの学習パラダイムの概要を提供することで,この将来性のある研究分野のさらなる進歩を促進することを目的としている。
関連論文リスト
- A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク
i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文 参考訳（メタデータ） (2024-09-18T14:57:13Z) - Concept Discovery for Fast Adapatation [42.81705659613234]
データ特徴間の構造をメタラーニングすることで、より効果的な適応を実現する。
提案手法は,概念ベースモデル非依存メタラーニング(COMAML)を用いて,合成されたデータセットと実世界のデータセットの両方に対して,構造化データの一貫した改善を実現する。
論文 参考訳（メタデータ） (2023-01-19T02:33:58Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳（メタデータ） (2022-11-14T19:53:15Z) - Learning with Limited Samples -- Meta-Learning and Applications to
Communication Systems [46.760568562468606]
メタ学習は、新しいタスクに迅速に適応できる学習アルゴリズムを最適化する。
このレビュー・モノグラフは、原則、アルゴリズム、理論、工学的応用をカバーし、メタラーニングの紹介を提供する。
論文 参考訳（メタデータ） (2022-10-03T17:15:36Z) - On the Efficiency of Integrating Self-supervised Learning and
Meta-learning for User-defined Few-shot Keyword Spotting [51.41426141283203]
ユーザ定義キーワードスポッティングは、ユーザが定義する新しい音声用語を検出するタスクである。
これまでの研究は、自己教師付き学習モデルを取り入れたり、メタ学習アルゴリズムを適用しようとするものだった。
この結果から,HuBERTとMatching Networkを組み合わせることで,最適な結果が得られることがわかった。
論文 参考訳（メタデータ） (2022-04-01T10:59:39Z) - Sharing to learn and learning to share; Fitting together Meta-Learning, Multi-Task Learning, and Transfer Learning: A meta review [4.462334751640166]
本稿では、これらの学習アルゴリズムを2つ組み合わせた研究についてレビューする。
文献から蓄積した知識に基づいて、汎用的なタスクに依存しないモデルに依存しない学習ネットワークを仮定する。
論文 参考訳（メタデータ） (2021-11-23T20:41:06Z) - Online Structured Meta-learning [137.48138166279313]
現在のオンラインメタ学習アルゴリズムは、グローバルに共有されたメタラーナーを学ぶために限られている。
この制限を克服するオンライン構造化メタラーニング(OSML)フレームワークを提案する。
3つのデータセットの実験は、提案フレームワークの有効性と解釈可能性を示している。
論文 参考訳（メタデータ） (2020-10-22T09:10:31Z) - Meta-Learning in Neural Networks: A Survey [4.588028371034406]
本調査では,現代メタラーニングの展望について述べる。
まずメタラーニングの定義について議論し、関連する分野について位置づける。
そこで我々はメタラーニング手法の空間をより包括的に分析する新しい分類法を提案する。
論文 参考訳（メタデータ） (2020-04-11T16:34:24Z) - Provable Meta-Learning of Linear Representations [114.656572506859]
我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。
また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
論文 参考訳（メタデータ） (2020-02-26T18:21:34Z) - Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。
タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。
この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
論文 参考訳（メタデータ） (2020-02-03T06:13:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。