論文の概要: Generalising via Meta-Examples for Continual Learning in the Wild

• arxiv url: http://arxiv.org/abs/2101.12081v1
• Date: Thu, 28 Jan 2021 15:51:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-01-31 18:02:28.730367
• Title: Generalising via Meta-Examples for Continual Learning in the Wild
• Title（参考訳）: 野生における連続学習のためのメタ例による一般化
• Authors: Alessia Bertugli, Stefano Vincenzi, Simone Calderara, Andrea Passerini
• Abstract要約: 我々は「野生で学習する」ニューラルネットワークを扱うための新しい戦略を開発する MEML - Meta-Example Meta-Learning - 破滅的な忘れを同時に緩和する新しいモジュール。 様々な拡張タスクを作成し、最も難しいタスクを最適化する手法を採用して拡張する。
• 参考スコア（独自算出の注目度）: 24.09600678738403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning quickly and continually is still an ambitious task for neural networks. Indeed, many real-world applications do not reflect the learning setting where neural networks shine, as data are usually few, mostly unlabelled and come as a stream. To narrow this gap, we introduce FUSION - Few-shot UnSupervIsed cONtinual learning - a novel strategy which aims to deal with neural networks that "learn in the wild", simulating a real distribution and flow of unbalanced tasks. We equip FUSION with MEML - Meta-Example Meta-Learning - a new module that simultaneously alleviates catastrophic forgetting and favours the generalisation and future learning of new tasks. To encourage features reuse during the meta-optimisation, our model exploits a single inner loop per task, taking advantage of an aggregated representation achieved through the use of a self-attention mechanism. To further enhance the generalisation capability of MEML, we extend it by adopting a technique that creates various augmented tasks and optimises over the hardest. Experimental results on few-shot learning benchmarks show that our model exceeds the other baselines in both FUSION and fully supervised case. We also explore how it behaves in standard continual learning consistently outperforming state-of-the-art approaches.
• Abstract（参考訳）: ニューラルネットワークの迅速かつ継続的な学習は、いまだに野心的な課題である。 実際、現実世界のアプリケーションの多くは、通常はデータが少ないため、ニューラルネットワークが輝いている学習環境を反映していない。 このギャップを狭めるために、FUSION - Few-shot UnSupervIsed cONtinual learning - これは、非バランスなタスクの実際の分布とフローをシミュレートし、「野生で学習する」ニューラルネットワークに対処することを目的とした新しい戦略です。 MEML - Meta-Example Meta-Learning - 破滅的な忘れを同時に軽減し、新しいタスクの一般化と将来の学習を好む新しいモジュール。 メタ最適化における機能の再利用を促進するため,本モデルは,自己認識機構を用いて達成された集約表現を利用して,タスク毎の1つの内部ループを利用する。 MEMLの一般化能力をさらに強化するために、様々な拡張タスクを作成し、最も難しいタスクを最適化する手法を採用して拡張する。 数ショットの学習ベンチマークによる実験結果から,我々のモデルはFUSIONと完全教師付きケースの両方において,他のベースラインを超えていることが判明した。 また、標準の継続的学習において、最先端のアプローチを一貫して上回る動作についても検討します。

関連論文リスト

• ConML: A Universal Meta-Learning Framework with Task-Level Contrastive Learning [49.447777286862994]
  ConMLは、さまざまなメタ学習アルゴリズムに適用可能な、普遍的なメタ学習フレームワークである。 我々は、ConMLが最適化ベース、メートル法ベース、およびアモータイズベースメタ学習アルゴリズムとシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2024-10-08T12:22:10Z)
• A Practitioner's Guide to Continual Multimodal Pretraining [83.63894495064855]
  マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。 モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。 本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
  論文  参考訳（メタデータ） (2024-08-26T17:59:01Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Learning Universal Predictors [23.18743879588599]
  メタラーニングを限界まで活用することで、最も強力な普遍的予測子であるソロモノフ誘導(SI)をニューラルネットワークに記憶させる可能性を探る。 我々はUniversal Turing Machines (UTM) を用いて、幅広いパターンにネットワークを公開するトレーニングデータを生成する。 この結果から,UTMデータはメタラーニングに有用な資源であり,普遍的な予測戦略を学習可能なニューラルネットワークのトレーニングに有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-01-26T15:37:16Z)
• Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
  視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。 まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。 我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
  論文  参考訳（メタデータ） (2023-03-12T05:08:03Z)
• Meta-Learning via Classifier(-free) Guidance [5.812784742024491]
  最先端のメタ学習技術は、目に見えないタスクへのゼロショット適応を最適化しない。 本稿では,自然言語指導によるゼロショット性能向上のためのメタ学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T11:09:35Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• Online Fast Adaptation and Knowledge Accumulation: a New Approach to Continual Learning [74.07455280246212]
  継続的な学習は、新しいタスクに適応しながら、以前のタスクを忘れずにタスクの流れから学ぶエージェントを研究する。 この新たなシナリオでは、現在の連続学習、メタ学習、メタ連続学習、および連続メタ学習技術が失敗することを示します。 本稿では,このシナリオの強力なベースラインとして,人気のあるMAMLアルゴリズムのオンライン拡張であるContinual-MAMLを提案する。
  論文  参考訳（メタデータ） (2020-03-12T15:47:16Z)
• Is the Meta-Learning Idea Able to Improve the Generalization of Deep Neural Networks on the Standard Supervised Learning? [34.00378876525579]
  深層ニューラルネットワーク(DNN)のための新しいメタラーニングベーストレーニング手法(M)を提案する。 Mは、タスクとしてトレーニングサンプルのバッチを考慮することで、メタトレーニングプロセスをシミュレートする。 実験結果から,異なる大きさの一般化に対して,一貫した性能向上が得られた。
  論文  参考訳（メタデータ） (2020-02-27T21:29:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。