論文の概要: TriRE: A Multi-Mechanism Learning Paradigm for Continual Knowledge Retention and Promotion

• arxiv url: http://arxiv.org/abs/2310.08217v1
• Date: Thu, 12 Oct 2023 11:05:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 11:51:06.873127
• Title: TriRE: A Multi-Mechanism Learning Paradigm for Continual Knowledge Retention and Promotion
• Title（参考訳）: trire: 継続的な知識保持と促進のためのマルチメカニズム学習パラダイム
• Authors: Preetha Vijayan, Prashant Bhat, Elahe Arani, Bahram Zonooz
• Abstract要約: 連続学習(CL)は、以前学習されたタスクの破滅的な忘れ(CF)のため、ディープニューラルネットワークにとって永続的な課題であり続けている。 本稿では,各タスクにおいて最も顕著なニューロンの保持を包含する新しいCLパラダイムであるTriREを提案し,現在および過去のタスクの抽出した知識を改訂・固化するとともに,その後のタスクに対する活動性の低いニューロンの巻き戻しと再学習を積極的に進める。
• 参考スコア（独自算出の注目度）: 18.83003310612038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning (CL) has remained a persistent challenge for deep neural networks due to catastrophic forgetting (CF) of previously learned tasks. Several techniques such as weight regularization, experience rehearsal, and parameter isolation have been proposed to alleviate CF. Despite their relative success, these research directions have predominantly remained orthogonal and suffer from several shortcomings, while missing out on the advantages of competing strategies. On the contrary, the brain continually learns, accommodates, and transfers knowledge across tasks by simultaneously leveraging several neurophysiological processes, including neurogenesis, active forgetting, neuromodulation, metaplasticity, experience rehearsal, and context-dependent gating, rarely resulting in CF. Inspired by how the brain exploits multiple mechanisms concurrently, we propose TriRE, a novel CL paradigm that encompasses retaining the most prominent neurons for each task, revising and solidifying the extracted knowledge of current and past tasks, and actively promoting less active neurons for subsequent tasks through rewinding and relearning. Across CL settings, TriRE significantly reduces task interference and surpasses different CL approaches considered in isolation.
• Abstract（参考訳）: 連続学習(cl)は、以前に学習されたタスクの破滅的忘れ(cf)のため、ディープニューラルネットワークにとって永続的な課題である。 CFを緩和するために、重量正規化、経験リハーサル、パラメータ分離などいくつかの手法が提案されている。 比較的成功したにもかかわらず、これらの研究の方向性は主に直交的であり、いくつかの欠点に悩まされ、競合する戦略の利点を欠いている。 逆に、脳は神経新生、活動的忘れ、神経調節、メタ可塑性、経験リハーサル、文脈依存ゲーティングなど、いくつかの神経生理学的過程を同時に活用することで、タスク間で知識を学習し、許容し、伝達する。 脳が複数のメカニズムを同時に活用する方法にインスパイアされたTriREは、タスク毎に最も顕著なニューロンを保持すること、抽出された現在のタスクと過去のタスクの知識を改訂・固化すること、そしてその後のタスクに対して、巻き返しと再学習を通じて、アクティブでないニューロンを積極的に促進する新しいCLパラダイムである。 CL設定全体では、TriREはタスクの干渉を著しく減らし、分離時に考慮されたさまざまなCLアプローチを超える。

関連論文リスト

• Towards Understanding Multi-Task Learning (Generalization) of LLMs via Detecting and Exploring Task-Specific Neurons [45.04661608619081]
  大規模言語モデル(LLM)におけるタスク依存ニューロンは,タスク固有データに対する勾配属性によって検出される。 タスク固有のニューロンの重複は、タスク間の一般化と特殊化と強く関連している。 連続学習において,現在のタスク固有ニューロンのみを微調整するニューロンレベルの連続微調整法を提案する。
  論文  参考訳（メタデータ） (2024-07-09T01:27:35Z)
• Brain-Inspired Continual Learning-Robust Feature Distillation and Re-Consolidation for Class Incremental Learning [0.0]
  本稿では, 特徴蒸留と再固化という2つの基本概念からなる新しい枠組みを提案する。 ロバスト・リハーサル(Robust Rehearsal)と名付けられた我々のフレームワークは、継続的な学習システムに固有の破滅的な忘れ込みの課題に対処する。 CIFAR10、CIFAR100、実世界のヘリコプター姿勢データセットで実施された実験は、ロバスト・リハーサルで訓練されたCLモデルの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-22T21:30:11Z)
• TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential Modelling [54.97005925277638]
  潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。 SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。 そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-25T08:54:41Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• Bio-Inspired, Task-Free Continual Learning through Activity Regularization [3.5502600490147196]
  継続的学習アプローチは通常、個別のタスク境界を必要とする。 我々は神経科学からインスピレーションを得ており、忘れるのを防ぐために、スパースで重複しない神経表現が提案されている。 空間性に加えて,各層に横方向のリカレント接続を導入し,事前学習した表現をさらに保護する。 本手法は,タスク境界に関する情報を必要とせずに,弾性重み統合やシナプスインテリジェンスなどのよく知られたCL手法と類似した性能を実現する。
  論文  参考訳（メタデータ） (2022-12-08T15:14:20Z)
• Continual learning benefits from multiple sleep mechanisms: NREM, REM, and Synaptic Downscaling [51.316408685035526]
  先行学習を失うことなく、新しいタスクやスキルを連続して学習することは、人工ニューラルネットワークと生物学的ニューラルネットワークの両方にとって、計算上の課題である。 本稿では,3つの異なる睡眠成分のモデル化が,人工ニューラルネットワークの連続学習にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2022-09-09T13:45:27Z)
• Sparsity and Heterogeneous Dropout for Continual Learning in the Null Space of Neural Activations [36.24028295650668]
  非定常的な入力データストリームからの連続的/長期的学習は知性の基盤である。 ディープニューラルネットワークは、新しいものを学ぶ際に、これまで学んだ情報を忘れる傾向がある。 近年、ディープニューラルネットワークにおける破滅的な忘れを乗り越えることが、研究の活発な分野となっている。
  論文  参考訳（メタデータ） (2022-03-12T21:12:41Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• When, where, and how to add new neurons to ANNs [3.0969191504482243]
  ANNの神経新生は、プルーニングのような他の形態の構造学習と比較しても、未調査で難しい問題である。 神経新生の様々な側面、すなわち学習過程においてニューロンをいつ、どこで、どのように追加するかを研究するための枠組みを紹介する。
  論文  参考訳（メタデータ） (2022-02-17T09:32:08Z)
• Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
  我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。 人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
  論文  参考訳（メタデータ） (2021-02-18T14:53:12Z)
• Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
  破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。 本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
  論文  参考訳（メタデータ） (2020-06-12T06:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。