論文の概要: Lifelong Learning Without a Task Oracle
- arxiv url: http://arxiv.org/abs/2011.04783v1
- Date: Mon, 9 Nov 2020 21:30:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 00:15:06.605910
- Title: Lifelong Learning Without a Task Oracle
- Title（参考訳）: タスクオラクルなしでの生涯学習
- Authors: Amanda Rios and Laurent Itti
- Abstract要約: 監視されたディープニューラルネットワークは、新しいタスクが学習されると、古いタスクの精度が大幅に低下することが知られている。
本稿では,メモリオーバーヘッドの少ないタスク割り当てマップの提案と比較を行う。
最高のパフォーマンスの変種は、平均的なパラメータメモリの増大を1.7%に抑えるだけである。
- 参考スコア（独自算出の注目度）: 13.331659934508764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Supervised deep neural networks are known to undergo a sharp decline in the
accuracy of older tasks when new tasks are learned, termed "catastrophic
forgetting". Many state-of-the-art solutions to continual learning rely on
biasing and/or partitioning a model to accommodate successive tasks
incrementally. However, these methods largely depend on the availability of a
task-oracle to confer task identities to each test sample, without which the
models are entirely unable to perform. To address this shortcoming, we propose
and compare several candidate task-assigning mappers which require very little
memory overhead: (1) Incremental unsupervised prototype assignment using either
nearest means, Gaussian Mixture Models or fuzzy ART backbones; (2) Supervised
incremental prototype assignment with fast fuzzy ARTMAP; (3) Shallow perceptron
trained via a dynamic coreset. Our proposed model variants are trained either
from pre-trained feature extractors or task-dependent feature embeddings of the
main classifier network. We apply these pipeline variants to continual learning
benchmarks, comprised of either sequences of several datasets or within one
single dataset. Overall, these methods, despite their simplicity and
compactness, perform very close to a ground truth oracle, especially in
experiments of inter-dataset task assignment. Moreover, best-performing
variants only impose an average cost of 1.7% parameter memory increase.
- Abstract（参考訳）: 監視されたディープニューラルネットワークは、新しいタスクが学習されると、古いタスクの精度が大幅に低下することが知られている。
継続的学習に対する最先端のソリューションの多くは、連続的なタスクを段階的に順応するためのモデルの偏りや分割に依存しています。
しかし、これらのメソッドは、モデルが完全に実行できないことなく、各テストサンプルにタスクidを割り当てるタスクoracleの可用性に大きく依存している。
この欠点に対処するために,(1)最寄りの手段,ガウス混合モデル,あるいはファジィアートバックボーンを用いたインクリメンタルな非教師付きプロトタイプ割り当て,(2)高速なファジィアートマップによるインクリメンタルプロトタイプ割り当て,(3)動的コアセットでトレーニングされた浅いパーセプトロンといった,メモリオーバーヘッドの少ないタスク割り当てマッパーを提案し,比較する。
提案するモデル変種は,事前訓練された特徴抽出器あるいは主分類器ネットワークのタスク依存特徴埋め込みから訓練される。
これらのパイプライン変種を連続学習ベンチマークに適用し、複数のデータセットのシーケンスまたは1つのデータセット内で構成する。
全体として、これらの手法は、単純さとコンパクトさにもかかわらず、特にデータセット間タスク割り当ての実験において、基礎となる真理託に非常に近い性能を発揮する。
さらに、ベストパフォーマンスの変種は平均1.7%のパラメータメモリ増加しか課さない。
関連論文リスト
- Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。
PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。
実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
論文 参考訳（メタデータ） (2023-10-16T13:59:56Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳（メタデータ） (2023-10-04T04:26:33Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - One-Shot Pruning for Fast-adapting Pre-trained Models on Devices [28.696989086706186]
大規模な事前訓練モデルが下流タスクの解決に成功している。
これらのモデルを低機能デバイスにデプロイするには、モデルプルーニングのような効果的なアプローチが必要である。
そこで本研究では,類似タスクの抽出知識を活用して,事前学習したモデルからサブネットワークを抽出する,スケーラブルなワンショットプルーニング手法を提案する。
論文 参考訳（メタデータ） (2023-07-10T06:44:47Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - A Multi-Head Model for Continual Learning via Out-of-Distribution Replay [16.189891444511755]
連続学習(CL)における破滅的忘れ(CF)に対する多くのアプローチが提案されている。
本稿では,MOREと呼ばれるトランスフォーマーネットワークを用いて,タスク毎に個別の分類器(頭部)を構築する手法を提案する。
論文 参考訳（メタデータ） (2022-08-20T19:17:12Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。