論文の概要: Saliency-Guided Hidden Associative Replay for Continual Learning
- arxiv url: http://arxiv.org/abs/2310.04334v1
- Date: Fri, 6 Oct 2023 15:54:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-09 15:34:22.280988
- Title: Saliency-Guided Hidden Associative Replay for Continual Learning
- Title（参考訳）: 連続学習のためのサリエンシ誘導型隠れ型連想リプレイ
- Authors: Guangji Bai, Qilong Zhao, Xiaoyang Jiang, Yifei Zhang, Liang Zhao
- Abstract要約: 継続学習(Continuous Learning)は、人間の学習に似た一連のタスクを通じてニューラルネットワークをトレーニングすることに焦点を当てた、次世代AIの急成長する領域である。
本稿では,継続的学習のためのSaliency Guided Hidden Associative Replayを提案する。
この新しいフレームワークは、アソシエイトメモリをリプレイベースの戦略でシナジする。SHARCは主にスパースメモリエンコーディングを通じて、有能なデータセグメントをアーカイブする。
- 参考スコア（独自算出の注目度）: 13.551181595881326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual Learning is a burgeoning domain in next-generation AI, focusing on
training neural networks over a sequence of tasks akin to human learning. While
CL provides an edge over traditional supervised learning, its central challenge
remains to counteract catastrophic forgetting and ensure the retention of prior
tasks during subsequent learning. Amongst various strategies to tackle this,
replay based methods have emerged as preeminent, echoing biological memory
mechanisms. However, these methods are memory intensive, often preserving
entire data samples, an approach inconsistent with humans selective memory
retention of salient experiences. While some recent works have explored the
storage of only significant portions of data in episodic memory, the inherent
nature of partial data necessitates innovative retrieval mechanisms. Current
solutions, like inpainting, approximate full data reconstruction from partial
cues, a method that diverges from genuine human memory processes. Addressing
these nuances, this paper presents the Saliency Guided Hidden Associative
Replay for Continual Learning. This novel framework synergizes associative
memory with replay-based strategies. SHARC primarily archives salient data
segments via sparse memory encoding. Importantly, by harnessing associative
memory paradigms, it introduces a content focused memory retrieval mechanism,
promising swift and near-perfect recall, bringing CL a step closer to authentic
human memory processes. Extensive experimental results demonstrate the
effectiveness of our proposed method for various continual learning tasks.
- Abstract（参考訳）: 継続学習(Continuous Learning)は、人間の学習に似た一連のタスクを通じてニューラルネットワークをトレーニングすることに焦点を当てた、次世代AIの急成長する領域である。
CLは従来の教師付き学習よりも優位性があるが、その中心となる課題は、破滅的な忘れと、その後の学習における以前のタスクの維持を保証することである。
これに対処する様々な戦略の中で、リプレイベースの手法は生物学的記憶機構に反響するものとして現れてきた。
しかし、これらの方法はメモリ集約的であり、しばしばデータサンプル全体を保存し、人間の選択的記憶保持と矛盾するアプローチである。
近年のいくつかの研究は、エピソード記憶におけるデータの重要な部分のみの保存を探求しているが、部分的なデータの性質は革新的な検索機構を必要とする。
インペインティングのような現在のソリューションは、本物の人間の記憶プロセスから分岐する部分的手がかりから、ほぼ完全なデータ再構成を近似する。
本論文は,これらのニュアンスに対処し,継続学習のためのサリエンシガイド付隠れアソシエイト・リプレイを提案する。
この新しいフレームワークは、リプレイベースの戦略で連想記憶をシナジする。
SHARCは、主にスパースメモリエンコーディングを通じて有能なデータセグメントをアーカイブする。
重要なことは、連想メモリのパラダイムを活用することで、コンテンツ中心のメモリ検索機構を導入し、高速でほぼ完璧なリコールを約束し、CLを真の人間のメモリプロセスに近づける。
各種連続学習課題に対する提案手法の有効性を実験的に検証した。
関連論文リスト
- Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。
本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。
我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-10-14T03:50:17Z) - TEAL: New Selection Strategy for Small Buffers in Experience Replay Class Incremental Learning [7.627299398469962]
TEALは,メモリを例に示す新しい手法である。
TEAL は複数の画像認識ベンチマークにおいて,SOTA 法 XDER と ER と ER-ACE の平均精度を向上することを示す。
論文 参考訳（メタデータ） (2024-06-30T12:09:08Z) - Adversarially Diversified Rehearsal Memory (ADRM): Mitigating Memory Overfitting Challenge in Continual Learning [0.0]
継続的な学習は、それまでの知識を忘れずに、静止しないデータ分布を学習することに焦点を当てる。
リハーサルベースのアプローチは、破滅的な忘れに対処するために一般的に使用される。
本稿では、メモリ過度に適合する課題に対処するために、Adversarially Diversified Rehearsal Memoryを導入する。
論文 参考訳（メタデータ） (2024-05-20T06:56:43Z) - Empowering Working Memory for Large Language Model Agents [9.83467478231344]
本稿では,認知心理学のワーキングメモリフレームワークを大規模言語モデル(LLM)に適用する可能性について検討する。
エピソード間の記憶を維持するために、集中型ワーキングメモリハブとエピソディックバッファアクセスを取り入れた革新的なモデルが提案されている。
このアーキテクチャは、複雑なタスクと協調シナリオの間のニュアンス付きコンテキスト推論に対して、より継続的なものを提供することを目的としている。
論文 参考訳（メタデータ） (2023-12-22T05:59:00Z) - Saliency-Augmented Memory Completion for Continual Learning [8.243137410556495]
忘れる方法は、継続的な学習に対処しなければならない問題である。
本稿では,連続学習のための新たなサリエンシ強化メモリ補完フレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-26T18:06:39Z) - Pin the Memory: Learning to Generalize Semantic Segmentation [68.367763672095]
本稿ではメタラーニングフレームワークに基づくセマンティックセグメンテーションのための新しいメモリ誘導ドメイン一般化手法を提案する。
本手法は,セマンティッククラスの概念的知識を,ドメインを超えて一定であるカテゴリ記憶に抽象化する。
論文 参考訳（メタデータ） (2022-04-07T17:34:01Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - Learning Fast, Learning Slow: A General Continual Learning Method based
on Complementary Learning System [13.041607703862724]
本稿では,新しいデュアルメモリエクスペリエンス再生(ER)法であるCLS-ERを提案する。
決定境界を意味記憶と整合させながら、新たな知識を得る。
提案手法は,標準ベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2022-01-29T15:15:23Z) - Learning to Rehearse in Long Sequence Memorization [107.14601197043308]
既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。
メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。
しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。
本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
論文 参考訳（メタデータ） (2021-06-02T11:58:30Z) - Self-Attentive Associative Memory [69.40038844695917]
我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。
機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
論文 参考訳（メタデータ） (2020-02-10T03:27:48Z) - Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。
本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
論文 参考訳（メタデータ） (2020-01-31T11:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。