論文の概要: Few-Shot and Continual Learning with Attentive Independent Mechanisms
- arxiv url: http://arxiv.org/abs/2107.14053v1
- Date: Thu, 29 Jul 2021 14:43:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-30 13:28:30.631615
- Title: Few-Shot and Continual Learning with Attentive Independent Mechanisms
- Title（参考訳）: 注意的独立機構を用いた単発連続学習
- Authors: Eugene Lee, Cheng-Han Huang, Chen-Yi Lee
- Abstract要約: 注意独立メカニズム(AIM)について紹介する。
AIMは高次の概念学習のために設計されており、独立した概念を学習して新しい課題を解決しようとする専門家の混成によってモデル化されている。
また、AIMは、Omniglot、CIFAR-100、MiniImageNetで訓練されたANMLやOMLにも適用され、連続学習におけるその能力を示す。
- 参考スコア（独自算出の注目度）: 19.48936136437212
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep neural networks (DNNs) are known to perform well when deployed to test
distributions that shares high similarity with the training distribution.
Feeding DNNs with new data sequentially that were unseen in the training
distribution has two major challenges -- fast adaptation to new tasks and
catastrophic forgetting of old tasks. Such difficulties paved way for the
on-going research on few-shot learning and continual learning. To tackle these
problems, we introduce Attentive Independent Mechanisms (AIM). We incorporate
the idea of learning using fast and slow weights in conjunction with the
decoupling of the feature extraction and higher-order conceptual learning of a
DNN. AIM is designed for higher-order conceptual learning, modeled by a mixture
of experts that compete to learn independent concepts to solve a new task. AIM
is a modular component that can be inserted into existing deep learning
frameworks. We demonstrate its capability for few-shot learning by adding it to
SIB and trained on MiniImageNet and CIFAR-FS, showing significant improvement.
AIM is also applied to ANML and OML trained on Omniglot, CIFAR-100 and
MiniImageNet to demonstrate its capability in continual learning. Code made
publicly available at https://github.com/huang50213/AIM-Fewshot-Continual.
- Abstract（参考訳）: 深層ニューラルネットワーク(dnn)は、トレーニング分布と高い類似性を持つ分布をテストするためにデプロイされるとうまく機能することが知られている。
新しいタスクへの迅速な適応と、古いタスクを壊滅的に忘れてしまうという2つの大きな課題がある。
このような困難は、少人数学習と継続的な学習に関する現在進行中の研究の道を開いた。
これらの問題に対処するために、注意的独立メカニズム(AIM)を導入する。
特徴抽出とDNNの高次概念学習の分離と合わせて,高速かつ低速な重みを用いた学習の考え方を取り入れた。
AIMは高次の概念学習のために設計されており、独立した概念を学習して新しい課題を解決しようとする専門家の混成によってモデル化されている。
AIMは、既存のディープラーニングフレームワークに挿入可能なモジュールコンポーネントである。
SIBに追加し、MiniImageNetとCIFAR-FSでトレーニングすることで、数ショット学習の能力を実証し、大幅な改善を示した。
また、AIMは、Omniglot、CIFAR-100、MiniImageNetで訓練されたANMLやOMLにも適用され、連続学習におけるその能力を示す。
コードはhttps://github.com/huang50213/AIM-Fewshot-Continualで公開されている。
関連論文リスト
- MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。
MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
論文 参考訳（メタデータ） (2024-08-07T02:28:37Z) - Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。
これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。
事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。
既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。
我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-07T12:19:37Z) - Neuro-mimetic Task-free Unsupervised Online Learning with Continual
Self-Organizing Maps [56.827895559823126]
自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。
低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。
MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
論文 参考訳（メタデータ） (2024-02-19T19:11:22Z) - Enhancing Efficient Continual Learning with Dynamic Structure
Development of Spiking Neural Networks [6.407825206595442]
子どもは複数の認知タスクを逐次学習する能力を持っている。
既存の連続学習フレームワークは通常、ディープニューラルネットワーク(DNN)に適用できる。
本研究では,効率的な適応型連続学習のためのスパイキングニューラルネットワーク(DSD-SNN)の動的構造開発を提案する。
論文 参考訳（メタデータ） (2023-08-09T07:36:40Z) - Continual Few-Shot Learning with Adversarial Class Storage [44.04528506999142]
本稿では,連続的メタラーナー(CML)を提案する。
CMLは、メトリックベースの分類とメモリベースのメカニズムと、逆学習をメタ学習フレームワークに統合する。
実験結果から,CMLは破滅的な忘れを伴わずに,数発の学習タスクで最先端のパフォーマンスを実現することがわかった。
論文 参考訳（メタデータ） (2022-07-10T03:40:38Z) - Mixture-of-Variational-Experts for Continual Learning [0.0]
学習と忘れのトレードオフを促進する最適原理を提案する。
我々はMixture-of-Variational-Experts (MoVE)と呼ばれる連続学習のためのニューラルネットワーク層を提案する。
MNISTおよびCIFAR10データセットの変種に関する実験は、MoVE層の競合性能を示す。
論文 参考訳（メタデータ） (2021-10-25T06:32:06Z) - Generalising via Meta-Examples for Continual Learning in the Wild [24.09600678738403]
我々は「野生で学習する」ニューラルネットワークを扱うための新しい戦略を開発する
MEML - Meta-Example Meta-Learning - 破滅的な忘れを同時に緩和する新しいモジュール。
様々な拡張タスクを作成し、最も難しいタスクを最適化する手法を採用して拡張する。
論文 参考訳（メタデータ） (2021-01-28T15:51:54Z) - Deep Multi-Task Learning for Cooperative NOMA: System Design and
Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。
我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-07-27T12:38:37Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - A Unified Object Motion and Affinity Model for Online Multi-Object
Tracking [127.5229859255719]
オブジェクトの動きと親和性モデルを単一のネットワークに統一する新しいMOTフレームワークUMAを提案する。
UMAは、単一物体追跡とメートル法学習をマルチタスク学習により統合された三重項ネットワークに統合する。
我々は,タスク認識機能学習を促進するために,タスク固有のアテンションモジュールを装備する。
論文 参考訳（メタデータ） (2020-03-25T09:36:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。