論文の概要: Forget but Recall: Incremental Latent Rectification in Continual Learning

• arxiv url: http://arxiv.org/abs/2406.17381v1
• Date: Tue, 25 Jun 2024 08:57:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 15:01:42.306741
• Title: Forget but Recall: Incremental Latent Rectification in Continual Learning
• Title（参考訳）: Forget but Recall: 継続的学習におけるインクリメンタル潜時整形
• Authors: Nghia D. Nguyen, Hieu Trung Nguyen, Ang Li, Hoang Pham, Viet Anh Nguyen, Khoa D. Doan,
• Abstract要約: 変化するデータストリームを継続的に学習する本質的な能力は、ディープニューラルネットワーク(DNN)のデシプラタムである 既存の継続学習アプローチは、リプレイの模範を保ち、学習を規則化し、あるいは新しいタスクに専用容量を割り当てる。 本稿では,Incrmental Latent Rectification (ILR) と呼ばれる,漸進学習のための未探索CL方向について検討する。
• 参考スコア（独自算出の注目度）: 21.600690867361617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intrinsic capability to continuously learn a changing data stream is a desideratum of deep neural networks (DNNs). However, current DNNs suffer from catastrophic forgetting, which hinders remembering past knowledge. To mitigate this issue, existing Continual Learning (CL) approaches either retain exemplars for replay, regularize learning, or allocate dedicated capacity for new tasks. This paper investigates an unexplored CL direction for incremental learning called Incremental Latent Rectification or ILR. In a nutshell, ILR learns to propagate with correction (or rectify) the representation from the current trained DNN backward to the representation space of the old task, where performing predictive decisions is easier. This rectification process only employs a chain of small representation mapping networks, called rectifier units. Empirical experiments on several continual learning benchmarks, including CIFAR10, CIFAR100, and Tiny ImageNet, demonstrate the effectiveness and potential of this novel CL direction compared to existing representative CL methods.
• Abstract（参考訳）: 変化するデータストリームを継続的に学習する本質的な能力は、ディープニューラルネットワーク(DNN)のデシプラタムである。 しかし、現在のDNNは破滅的な忘れ込みに悩まされており、過去の知識を思い出すのを妨げている。 この問題を緩和するために、既存の継続学習(CL)アプローチは、リプレイの模範を維持したり、学習を正規化したり、新しいタスクの専用容量を割り当てたりする。 本稿では,Incrmental Latent Rectification (ILR) と呼ばれる,漸進学習のための未探索CL方向について検討する。 簡単に言えば、ILRは、現在の訓練されたDNNから古いタスクの表現空間へ、予測決定を行うのが簡単になるように、その表現を修正(または修正)することを学ぶ。 この修正プロセスは、整流器ユニットと呼ばれる小さな表現マッピングネットワークの連鎖のみを使用する。 CIFAR10、CIFAR100、Tiny ImageNetなどの連続学習ベンチマークに関する実証実験は、既存の代表CL法と比較して、この新しいCL方向の有効性と可能性を実証している。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Overcoming Domain Drift in Online Continual Learning [24.86094018430407]
  オンライン連続学習(OCL)は、機械学習モデルに一連のタスクで新しい知識をオンラインで取得する権限を与える。 OCLは、破滅的な忘れをし、以前のタスクで学んだモデルは、新しいタスクに遭遇したときに実質的に上書きされる、という大きな課題に直面します。 本稿では,古いタスクのドメインを固定し,負の転送効果を低減するための新しいリハーサル戦略であるDrift-Reducing Rehearsal(DRR)を提案する。
  論文  参考訳（メタデータ） (2024-05-15T06:57:18Z)
• On-Device Learning with Binary Neural Networks [2.7040098749051635]
  我々は、最近のCL分野の進歩とBNN(Binary Neural Networks)の効率を取り入れたCLソリューションを提案する。 バックボーンとしてのバイナリネットワークの選択は、低消費電力デバイスの制約を満たすために不可欠である。
  論文  参考訳（メタデータ） (2023-08-29T13:48:35Z)
• New Insights on Reducing Abrupt Representation Change in Online Continual Learning [69.05515249097208]
  我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T01:37:00Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• SID: Incremental Learning for Anchor-Free Object Detection via Selective and Inter-Related Distillation [16.281712605385316]
  増分学習は、ストリーミングデータから新しいタスクを継続的に学習するモデルを必要とする。 新しいタスクでよく訓練されたディープニューラルネットワークの従来の微調整は、古いタスクのパフォーマンスを劇的に低下させる。 SID(Selective and Inter-related Distillation)と呼ばれる新しい漸進的学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-12-31T04:12:06Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。