論文の概要: Condensed Composite Memory Continual Learning

• arxiv url: http://arxiv.org/abs/2102.09890v1
• Date: Fri, 19 Feb 2021 12:18:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-23 01:48:47.852593
• Title: Condensed Composite Memory Continual Learning
• Title（参考訳）: 凝縮複合記憶連続学習
• Authors: Felix Wiewel and Bin Yang
• Abstract要約: ディープニューラルネットワーク(DNN)は、最新のタスクのデータのみが利用可能な一連のタスクでトレーニングされると、パフォーマンスが急速に低下します。 本稿では,完全なデータセットの本質を捉えた,少数の合成例を学習する新しい方法を提案する。
• 参考スコア（独自算出の注目度）: 17.192367229752072
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks (DNNs) suffer from a rapid decrease in performance when trained on a sequence of tasks where only data of the most recent task is available. This phenomenon, known as catastrophic forgetting, prevents DNNs from accumulating knowledge over time. Overcoming catastrophic forgetting and enabling continual learning is of great interest since it would enable the application of DNNs in settings where unrestricted access to all the training data at any time is not always possible, e.g. due to storage limitations or legal issues. While many recently proposed methods for continual learning use some training examples for rehearsal, their performance strongly depends on the number of stored examples. In order to improve performance of rehearsal for continual learning, especially for a small number of stored examples, we propose a novel way of learning a small set of synthetic examples which capture the essence of a complete dataset. Instead of directly learning these synthetic examples, we learn a weighted combination of shared components for each example that enables a significant increase in memory efficiency. We demonstrate the performance of our method on commonly used datasets and compare it to recently proposed related methods and baselines.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、最新のタスクのデータのみが利用可能な一連のタスクでトレーニングされると、パフォーマンスが急速に低下します。 破滅的な忘れ物として知られるこの現象は、DNNが時間の経過とともに知識を蓄積するのを防ぐ。 破滅的な放棄と継続的学習の実現を克服することは、いつでもすべてのトレーニングデータに制限のないアクセスが可能な設定でdnnを適用することを可能にするため、非常に興味深い。 ストレージの制限や 法的問題によるものです 最近提案された連続学習法の多くはリハーサルにいくつかのトレーニング例を使用しているが、その性能は記憶されたサンプルの数に大きく依存している。 連続学習のためのリハーサルの性能を向上させるために,特に少数の記憶された例に対して,完全なデータセットの本質を捉えた,少数の合成例を学習する新しい手法を提案する。 これらの合成例を直接学習する代わりに、各例の共有コンポーネントの重み付けの組み合わせを学び、メモリ効率を大幅に向上させる。 本手法のデータセット上での性能を実証し,最近提案された関連手法とベースラインと比較した。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Memory-Based Dual Gaussian Processes for Sequential Learning [26.22552882103996]
  提案手法は,最近提案されたデュアルスパース変分GPを用いて,これらの誤差をすべてチェックする手法である。 提案手法は,過去のデータのメモリを積極的に構築・更新することで,汎用可能性の正確な推測を可能にし,学習を改善する。
  論文  参考訳（メタデータ） (2023-06-06T10:34:03Z)
• Prototype-Sample Relation Distillation: Towards Replay-Free Continual Learning [14.462797749666992]
  本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。 本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。 この手法はタスクインクリメンタル設定における最先端性能を得る。
  論文  参考訳（メタデータ） (2023-03-26T16:35:45Z)
• Neural Architecture for Online Ensemble Continual Learning [6.241435193861262]
  我々は、エンドツーエンドのニューラルネットワークのアンサンブルを効率的に訓練できる、完全に微分可能なアンサンブル法を提案する。 提案手法は,メモリバッファを使わずにSOTA結果が得られ,参照手法よりも明らかに優れている。
  論文  参考訳（メタデータ） (2022-11-27T23:17:08Z)
• On Measuring the Intrinsic Few-Shot Hardness of Datasets [49.37562545777455]
  トレーニング済みのモデルに対して、データセットに固有の数ショットの硬さを示す。 そこで我々は,数発の学習が可能な直感をとらえる,シンプルで軽量な尺度"Spread"を提案する。 我々の測定基準は、既存の硬さの概念に比べて数発の硬さを考慮し、計算が8～100倍高速である。
  論文  参考訳（メタデータ） (2022-11-16T18:53:52Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Learning to Imagine: Diversify Memory for Incremental Learning using Unlabeled Data [69.30452751012568]
  本研究では,多様な特徴を適応的に生成することで,経験を多様化する学習可能な特徴生成装置を開発する。 生成したサンプルを前例とセマンティックに整合させるために,意味的コントラスト学習を導入する。 提案手法は, 余分な推論コストを伴わず, 2つのベンチマークで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-04-19T15:15:18Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。