論文の概要: SHARP: Sparsity and Hidden Activation RePlay for Neuro-Inspired Continual Learning

• arxiv url: http://arxiv.org/abs/2305.18563v1
• Date: Mon, 29 May 2023 18:51:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 19:35:14.238328
• Title: SHARP: Sparsity and Hidden Activation RePlay for Neuro-Inspired Continual Learning
• Title（参考訳）: SHARP: 神経誘発連続学習のための空間性と隠れた活性化再生
• Authors: Mustafa Burak Gurbuz, Jean Michael Moorman and Constantine Dovrolis
• Abstract要約: 継続学習(CL)は、人間の学習と同様、ディープニューラルネットワーク(DNN)が知識を漸進的に蓄積できるようにすることを目的としている。 本稿では,スパース動的接続とアクティベーション再生を利用した,効率的な神経誘発CL法であるSHARPを提案する。 5つのデータセットに対する実験により、SHARPはクラスインクリメンタル学習において最先端のリプレイ手法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 5.2531681772560725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) struggle to learn in dynamic environments since they rely on fixed datasets or stationary environments. Continual learning (CL) aims to address this limitation and enable DNNs to accumulate knowledge incrementally, similar to human learning. Inspired by how our brain consolidates memories, a powerful strategy in CL is replay, which involves training the DNN on a mixture of new and all seen classes. However, existing replay methods overlook two crucial aspects of biological replay: 1) the brain replays processed neural patterns instead of raw input, and 2) it prioritizes the replay of recently learned information rather than revisiting all past experiences. To address these differences, we propose SHARP, an efficient neuro-inspired CL method that leverages sparse dynamic connectivity and activation replay. Unlike other activation replay methods, which assume layers not subjected to replay have been pretrained and fixed, SHARP can continually update all layers. Also, SHARP is unique in that it only needs to replay few recently seen classes instead of all past classes. Our experiments on five datasets demonstrate that SHARP outperforms state-of-the-art replay methods in class incremental learning. Furthermore, we showcase SHARP's flexibility in a novel CL scenario where the boundaries between learning episodes are blurry. The SHARP code is available at \url{https://github.com/BurakGurbuz97/SHARP-Continual-Learning}.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、固定データセットや静止環境に依存するため、動的環境での学習に苦労する。 継続学習(CL)は、この制限に対処し、DNNが人間の学習と同様に、徐々に知識を蓄積できるようにすることを目的としている。 脳が記憶を統合させる方法に触発されて、CLの強力な戦略はリプレイであり、新しいクラスとすべてのクラスでDNNを訓練する。 しかし、既存のリプレイ法は生物学的リプレイの重要な2つの側面を見落としている。 1)脳は生入力の代わりに処理されたニューラルパターンを再生し、 2)過去の経験を再考するのではなく,近年の学習情報の再生を優先する。 これらの違いに対処するために,スパース動的接続とアクティベーションリプレイを利用した,効率的な神経誘発CL法であるSHARPを提案する。 他のアクティベーション・リプレイ法とは異なり、SHARPはすべてのレイヤを継続的に更新することができる。 また、SHARPは、過去のすべてのクラスの代わりに最近見られたクラスを再生するだけであるという点でユニークである。 5つのデータセットに対する実験により、SHARPはクラスインクリメンタル学習において最先端のリプレイ手法より優れていることが示された。 さらに,学習エピソード間の境界が曖昧な新しいCLシナリオにおいて,SHARPの柔軟性を示す。 SHARPコードは \url{https://github.com/BurakGurbuz97/SHARP-Continual-Learning} で公開されている。

関連論文リスト

• TEAL: New Selection Strategy for Small Buffers in Experience Replay Class Incremental Learning [7.627299398469962]
  TEALは,メモリを例に示す新しい手法である。 TEAL は複数の画像認識ベンチマークにおいて,SOTA 法 XDER と ER と ER-ACE の平均精度を向上することを示す。
  論文  参考訳（メタデータ） (2024-06-30T12:09:08Z)
• Learning Object-Centric Representation via Reverse Hierarchy Guidance [73.05170419085796]
  OCL(Object-Centric Learning)は、ニューラルネットワークが視覚的なシーンで個々のオブジェクトを識別できるようにする。 RHGNetは、トレーニングと推論プロセスにおいて、さまざまな方法で機能するトップダウンパスを導入している。 我々のモデルは、よく使われる複数のデータセット上でSOTA性能を達成する。
  論文  参考訳（メタデータ） (2024-05-17T07:48:27Z)
• Layerwise Proximal Replay: A Proximal Point Method for Online Continual Learning [22.00843101957619]
  オンライン連続学習では、ニューラルネットワークは非i.d.データストリームから漸進的に学習する。 経験的なリプレイでトレーニングされたニューラルネットワークは、不安定な最適化軌道を持つ傾向があります。 本稿では、新しいデータと再生データからの学習のバランスを保ちながら、過去のデータの隠れたアクティベーションの段階的変化を許容するLayerwise Proximal Replay(LPR)を提案する。
  論文  参考訳（メタデータ） (2024-02-14T19:34:28Z)
• Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
  分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。 新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。 新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
  論文  参考訳（メタデータ） (2024-01-03T07:59:17Z)
• OER: Offline Experience Replay for Continual Offline Reinforcement Learning [25.985985377992034]
  エージェントには、事前にコンパイルされたオフラインデータセットのシーケンスを通じて、新たなスキルを継続的に学習することが望ましい。 本稿では、エージェントが一連のオフライン強化学習タスクを学習する、新しい設定である連続オフライン強化学習(CORL)を定式化する。 本稿では,リプレイバッファを構築するためのモデルベースエクスペリエンス選択手法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T08:16:44Z)
• Adiabatic replay for continual learning [138.7878582237908]
  生成的リプレイは、すでに知られていることを再学習するだけで、より多くの時間を費やします。 我々は、アディバティック・リプレイ(AR)と呼ぶリプレイベースのCL戦略を提案する。 VAEを用いた最先端の深層再生よりもARの方が優れていることを実験的に検証した。
  論文  参考訳（メタデータ） (2023-03-23T10:18:06Z)
• Synthetic Experience Replay [48.601879260071655]
  エージェントの収集した経験を柔軟にアップサンプリングするための拡散に基づくアプローチであるSynthetic Experience Replay(SynthER)を提案する。 SynthERはオフラインおよびオンライン設定におけるRLエージェントのトレーニングに有効な方法であることを示す。 我々は、限られたデータからリプレイベースのRLアルゴリズムの深層学習の可能性を実現するために、合成トレーニングデータが扉を開くことができると信じている。
  論文  参考訳（メタデータ） (2023-03-12T09:10:45Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Tuned Compositional Feature Replays for Efficient Stream Learning [11.697781095636147]
  メモリブロックを用いた連続学習アルゴリズムCRUMBを提案する。 CRUMBは、ジェネリック部分を組み合わせることで再構成された特徴マップを再生することで、忘れを緩和する。 私たちは、CRUMBと競合する13の手法を7つの挑戦的データセットでストレステストしました。
  論文  参考訳（メタデータ） (2021-04-06T00:53:01Z)
• Replay in Deep Learning: Current Approaches and Missing Biological Elements [33.20770284464084]
  リプレイは1つ以上の神経パターンの再活性化である。 記憶形成、検索、統合において重要な役割を果たしていると考えられている。 哺乳類の脳におけるリプレイと人工神経ネットワークにおけるリプレイの総合比較を行った。
  論文  参考訳（メタデータ） (2021-04-01T15:19:08Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。