論文の概要: Saliency-Augmented Memory Completion for Continual Learning
- arxiv url: http://arxiv.org/abs/2212.13242v1
- Date: Mon, 26 Dec 2022 18:06:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 15:10:19.949955
- Title: Saliency-Augmented Memory Completion for Continual Learning
- Title（参考訳）: 連続学習のためのサリエンシ強化メモリ補完
- Authors: Guangji Bai, Chen Ling, Yuyang Gao, Liang Zhao
- Abstract要約: 忘れる方法は、継続的な学習に対処しなければならない問題である。
本稿では,連続学習のための新たなサリエンシ強化メモリ補完フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 8.243137410556495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual Learning is considered a key step toward next-generation Artificial
Intelligence. Among various methods, replay-based approaches that maintain and
replay a small episodic memory of previous samples are one of the most
successful strategies against catastrophic forgetting. However, since
forgetting is inevitable given bounded memory and unbounded tasks, how to
forget is a problem continual learning must address. Therefore, beyond simply
avoiding catastrophic forgetting, an under-explored issue is how to reasonably
forget while ensuring the merits of human memory, including 1. storage
efficiency, 2. generalizability, and 3. some interpretability. To achieve these
simultaneously, our paper proposes a new saliency-augmented memory completion
framework for continual learning, inspired by recent discoveries in memory
completion separation in cognitive neuroscience. Specifically, we innovatively
propose to store the part of the image most important to the tasks in episodic
memory by saliency map extraction and memory encoding. When learning new tasks,
previous data from memory are inpainted by an adaptive data generation module,
which is inspired by how humans complete episodic memory. The module's
parameters are shared across all tasks and it can be jointly trained with a
continual learning classifier as bilevel optimization. Extensive experiments on
several continual learning and image classification benchmarks demonstrate the
proposed method's effectiveness and efficiency.
- Abstract（参考訳）: 継続学習は、次世代人工知能への重要なステップだと考えられている。
様々な方法の中で、以前のサンプルの小さなエピソード記憶を維持し再生するリプレイベースのアプローチは、破滅的忘れに対する最も成功した戦略の1つである。
しかし、メモリ境界と非バウンドタスクが与えられた場合、忘れることは避けられないので、どのように忘れるかは継続的な学習の問題である。
したがって、単に破滅的な忘れることを避けるだけでなく、未熟な問題は、人間の記憶のメリットを保証しながら、合理的に忘れる方法である。
1.貯蔵効率
2. 一般化可能性、及び
3. 解釈可能性
これらを同時に実現するために,認知神経科学における記憶完全分離の最近の発見に触発された,連続学習のための新たなサリエンシ強化メモリ補完フレームワークを提案する。
具体的には,サリエンシマップの抽出とメモリエンコーディングにより,課題に最も重要な画像の一部をエピソードメモリに格納することを提案する。
新しいタスクを学ぶとき、メモリからの前のデータは、人間がエピソードメモリを完成させる方法にインスパイアされた適応データ生成モジュールによって影響される。
モジュールのパラメータはすべてのタスクで共有され、双方向最適化として連続学習分類器と共同でトレーニングすることができる。
複数の連続学習および画像分類ベンチマークに関する広範囲な実験により,提案手法の有効性と効率が実証された。
関連論文リスト
- Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。
本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。
我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-10-14T03:50:17Z) - TEAL: New Selection Strategy for Small Buffers in Experience Replay Class Incremental Learning [7.627299398469962]
TEALは,メモリを例に示す新しい手法である。
TEAL は複数の画像認識ベンチマークにおいて,SOTA 法 XDER と ER と ER-ACE の平均精度を向上することを示す。
論文 参考訳（メタデータ） (2024-06-30T12:09:08Z) - Saliency-Guided Hidden Associative Replay for Continual Learning [13.551181595881326]
継続学習(Continuous Learning)は、人間の学習に似た一連のタスクを通じてニューラルネットワークをトレーニングすることに焦点を当てた、次世代AIの急成長する領域である。
本稿では,継続的学習のためのSaliency Guided Hidden Associative Replayを提案する。
この新しいフレームワークは、アソシエイトメモリをリプレイベースの戦略でシナジする。SHARCは主にスパースメモリエンコーディングを通じて、有能なデータセグメントをアーカイブする。
論文 参考訳（メタデータ） (2023-10-06T15:54:12Z) - Black-box Unsupervised Domain Adaptation with Bi-directional
Atkinson-Shiffrin Memory [59.51934126717572]
Black-box Unsupervised Domain adaptation (UDA)は、トレーニング中にソースデータまたはソースモデルにアクセスすることなく、ターゲットデータのソース予測で学習する。
両方向の記憶機構であるBiMemを提案する。
BiMemは、画像分類、セマンティックセグメンテーション、オブジェクト検出など、さまざまな視覚的タスクに一貫して優れたドメイン適応性能を実現する。
論文 参考訳（メタデータ） (2023-08-25T08:06:48Z) - Memory-Based Label-Text Tuning for Few-Shot Class-Incremental Learning [20.87638654650383]
メモリプロンプトを用いてラベルテキスト情報を活用することを提案する。
メモリプロンプトは、新しいデータをシーケンシャルに学習し、一方、前の知識を記憶する。
実験の結果,提案手法は従来の最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2022-07-03T13:15:45Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - Learning to Rehearse in Long Sequence Memorization [107.14601197043308]
既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。
メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。
しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。
本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
論文 参考訳（メタデータ） (2021-06-02T11:58:30Z) - Schematic Memory Persistence and Transience for Efficient and Robust
Continual Learning [8.030924531643532]
継続学習は、次世代人工知能(AI)に向けた有望なステップであると考えられている
まだ非常に原始的であり、既存の作品は主に(破滅的な)忘れの回避に焦点が当てられている。
神経科学の最近の進歩を踏まえた,外部記憶を用いた連続学習のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-05-05T14:32:47Z) - Learning to Learn Variational Semantic Memory [132.39737669936125]
我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。
セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。
アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
論文 参考訳（メタデータ） (2020-10-20T15:05:26Z) - Self-Attentive Associative Memory [69.40038844695917]
我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。
機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
論文 参考訳（メタデータ） (2020-02-10T03:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。