論文の概要: Dynamically Modular and Sparse General Continual Learning

• arxiv url: http://arxiv.org/abs/2301.00620v1
• Date: Mon, 2 Jan 2023 12:24:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 13:33:30.961922
• Title: Dynamically Modular and Sparse General Continual Learning
• Title（参考訳）: 動的モジュール型およびスパース型汎用学習
• Authors: Arnav Varma, Elahe Arani and Bahram Zonooz
• Abstract要約: リハーサルに基づく一般連続学習のための動的モジュラリティと疎度(ダイナモス)を導入する。 本手法は,ニューロンのサブセットを活性化し,刺激の類似性に応じて重なり合うことで再利用性を維持しつつ,モジュラーと特殊性のある表現を学習することを示す。
• 参考スコア（独自算出の注目度）: 13.976220447055521
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Real-world applications often require learning continuously from a stream of data under ever-changing conditions. When trying to learn from such non-stationary data, deep neural networks (DNNs) undergo catastrophic forgetting of previously learned information. Among the common approaches to avoid catastrophic forgetting, rehearsal-based methods have proven effective. However, they are still prone to forgetting due to task-interference as all parameters respond to all tasks. To counter this, we take inspiration from sparse coding in the brain and introduce dynamic modularity and sparsity (Dynamos) for rehearsal-based general continual learning. In this setup, the DNN learns to respond to stimuli by activating relevant subsets of neurons. We demonstrate the effectiveness of Dynamos on multiple datasets under challenging continual learning evaluation protocols. Finally, we show that our method learns representations that are modular and specialized, while maintaining reusability by activating subsets of neurons with overlaps corresponding to the similarity of stimuli.
• Abstract（参考訳）: 現実世界のアプリケーションは、常に変化する条件下でデータのストリームから継続的に学習する必要があることが多い。 このような静止しないデータから学習しようとすると、ディープニューラルネットワーク(DNN)は、以前に学習した情報を破滅的に忘れてしまう。 破滅的な忘れ方を避ける一般的なアプローチの中で、リハーサルベースの方法が有効であることが証明されている。 しかしながら、すべてのパラメータがすべてのタスクに応答するため、タスク干渉のため忘れやすい。 これに対抗するために、脳内のスパースコーディングからインスピレーションを得て、リハーサルベースの一般的な連続学習のために動的モジュール性とスパース性(dynamos)を導入します。 この設定では、DNNはニューロンの関連するサブセットを活性化することで刺激に反応することを学ぶ。 連続学習評価プロトコルにおける複数のデータセットに対するダイナモスの有効性を実証する。 最後に,刺激の類似性に対応する重なりを持つ神経細胞の部分集合を活性化し,再利用性を維持しつつ,モジュラーで特殊な表現を学習することを示す。

関連論文リスト

• Meta-Dynamical State Space Models for Integrative Neural Data Analysis [8.625491800829224]
  環境間の共有構造を学習することは、ニューラルネットワークの迅速な学習と適応的な振る舞いを促進する。 ニューラル記録から潜伏ダイナミクスを学習するのと同様の作業中に、ニューラルアクティビティの共有構造を利用する作業は限られている。 本稿では,訓練動物のタスク関連神経活動から,この解空間をメタラーニングするための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-07T19:35:49Z)
• Trainability, Expressivity and Interpretability in Gated Neural ODEs [0.0]
  本稿では,ニューラルネットワークのキャパシティを探索して複雑なトラジェクトリを生成する,表現性の新たな尺度を提案する。 本研究は,低次元のgnODEがモデリング能力を保ちながら,解釈可能性を大幅に向上することを示す。 また,複数の実世界のタスクにおいて,NODEにおけるゲーティングの利点を示す。
  論文  参考訳（メタデータ） (2023-07-12T18:29:01Z)
• Learning Latent Dynamics via Invariant Decomposition and (Spatio-)Temporal Transformers [0.6767885381740952]
  本研究では,高次元経験データから力学系を学習する手法を提案する。 我々は、システムの複数の異なるインスタンスからデータが利用できる設定に焦点を当てる。 我々は、単純な理論的分析と、合成および実世界のデータセットに関する広範な実験を通して行動を研究する。
  論文  参考訳（メタデータ） (2023-06-21T07:52:07Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• A Meta-Learned Neuron model for Continual Learning [0.0]
  継続的な学習は、以前に学んだ知識を忘れずに新しい知識を得る能力である。 本研究では、標準的なニューロンをメタ学習ニューロンモデルで置き換える。 提案手法は,トレーニングサンプルのデータセット長シーケンスを記憶し,その学習能力を任意のドメインに一般化する。
  論文  参考訳（メタデータ） (2021-11-03T23:39:14Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Deep Recurrent Encoder: A scalable end-to-end network to model brain signals [122.1055193683784]
  複数の被験者の脳応答を一度に予測するために訓練されたエンドツーエンドのディープラーニングアーキテクチャを提案する。 1時間の読解作業で得られた大脳磁図(meg)記録を用いて,このアプローチを検証した。
  論文  参考訳（メタデータ） (2021-03-03T11:39:17Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。