論文の概要: GateON: an unsupervised method for large scale continual learning
- arxiv url: http://arxiv.org/abs/2306.01690v1
- Date: Fri, 2 Jun 2023 17:04:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 14:02:53.361316
- Title: GateON: an unsupervised method for large scale continual learning
- Title(参考訳): gateon: 大規模連続学習のための教師なし手法
- Authors: Martin Barry, Guillaume Bellec, Wulfram Gerstner
- Abstract要約: Gateonは学習可能なアクティビティのゲーティングとパラメータ関連性のオンライン推定を組み合わせることで、重要な知識が上書きされるのを防ぐ。
Gateonは、幅広いネットワーク(全接続、CNN、Transformers)で実装されており、計算の複雑さが低く、100MNISTの学習タスクを効果的に学習し、CLベースのNLPタスクにおいて、事前学習されたBERTの上位層の結果を得る。
- 参考スコア(独自算出の注目度): 4.143603294943439
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The objective of continual learning (CL) is to learn tasks sequentially
without retraining on earlier tasks. However, when subjected to CL, traditional
neural networks exhibit catastrophic forgetting and limited generalization. To
overcome these problems, we introduce a novel method called 'Gate and Obstruct
Network' (GateON). GateON combines learnable gating of activity and online
estimation of parameter relevance to safeguard crucial knowledge from being
overwritten. Our method generates partially overlapping pathways between tasks
which permits forward and backward transfer during sequential learning. GateON
addresses the issue of network saturation after parameter fixation by a
re-activation mechanism of fixed neurons, enabling large-scale continual
learning. GateON is implemented on a wide range of networks (fully-connected,
CNN, Transformers), has low computational complexity, effectively learns up to
100 MNIST learning tasks, and achieves top-tier results for pre-trained BERT in
CL-based NLP tasks.
- Abstract(参考訳): 継続学習(CL)の目的は、以前のタスクを再学習することなく連続的にタスクを学習することである。
しかし、clを受けると、従来のニューラルネットワークは破滅的な忘れ方と限定的な一般化を示す。
これらの問題を解決するために,Gate and Obstruct Network (GateON) と呼ばれる新しい手法を導入する。
gateonは、学習可能なアクティビティのゲーティングとパラメータ関連性のオンライン推定を組み合わせて、重要な知識を上書きから守る。
本手法は,逐次学習中に前方および後方移動を許容するタスク間の部分重複経路を生成する。
Gateonは、固定ニューロンの再活性化機構によるパラメータ固定後のネットワーク飽和の問題に対処し、大規模連続学習を可能にした。
Gateonは、幅広いネットワーク(全接続、CNN、Transformers)で実装されており、計算の複雑さが低く、100MNISTの学習タスクを効果的に学習し、CLベースのNLPタスクにおいて、事前学習されたBERTの上位層の結果を得る。
関連論文リスト
- MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳(メタデータ) (2024-04-11T15:46:42Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - Control of synaptic plasticity via the fusion of reinforcement learning
and unsupervised learning in neural networks [0.0]
認知神経科学では、シナプスの可塑性が我々の驚くべき学習能力に不可欠な役割を担っていると広く受け入れられている。
このインスピレーションにより、強化学習と教師なし学習の融合により、新しい学習規則が提案される。
提案した計算モデルでは,非線形最適制御理論を誤差フィードバックループ系に類似させる。
論文 参考訳(メタデータ) (2023-03-26T12:18:03Z) - Flexible Phase Dynamics for Bio-Plausible Contrastive Learning [11.179324762680297]
Contrastive Learning (CL)アルゴリズムは、伝統的に剛性、時間的に非局所的、周期的な学習ダイナミクスで実装されている。
この研究は、CLが生物学的またはニューロモルフィックシステムによってどのように実装されるかを研究する研究に基づいている。
このような学習は時間的に局所的に行うことができ、標準的な訓練手順の動的要求の多くを緩和しても機能することを示す。
論文 参考訳(メタデータ) (2023-02-24T03:18:45Z) - Bio-Inspired, Task-Free Continual Learning through Activity
Regularization [3.5502600490147196]
継続的学習アプローチは通常、個別のタスク境界を必要とする。
我々は神経科学からインスピレーションを得ており、忘れるのを防ぐために、スパースで重複しない神経表現が提案されている。
空間性に加えて,各層に横方向のリカレント接続を導入し,事前学習した表現をさらに保護する。
本手法は,タスク境界に関する情報を必要とせずに,弾性重み統合やシナプスインテリジェンスなどのよく知られたCL手法と類似した性能を実現する。
論文 参考訳(メタデータ) (2022-12-08T15:14:20Z) - The least-control principle for learning at equilibrium [65.2998274413952]
我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。
私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
論文 参考訳(メタデータ) (2022-07-04T11:27:08Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。
人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
論文 参考訳(メタデータ) (2021-02-18T14:53:12Z) - Continual Learning with Deep Artificial Neurons [0.0]
本稿では,Deep Artificial Neurons (DAN)を導入し,ディープニューラルネットワークとして実現した。
ネットワーク内のすべてのDANが共有する神経表現型をダブする単一パラメータベクトルをメタ学習することが可能であることを示す。
適切な神経表現型は,最小限の忘れを伴ってシナプスを更新する能力を持つ単一ネットワークを育むことができることを示す。
論文 参考訳(メタデータ) (2020-11-13T17:50:10Z) - Towards a Neural Model for Serial Order in Frontal Cortex: a Brain
Theory from Memory Development to Higher-Level Cognition [53.816853325427424]
そこで本研究では,未熟な前頭前野 (PFC) が側頭葉信号の階層的パターンを検出する主要な機能を利用していることを提案する。
我々の仮説では、PFCは順序パターンの形で時間的配列の階層構造を検出し、それらを脳の異なる部分で階層的に情報をインデックスするために利用する。
これにより、抽象的な知識を操作し、時間的に順序付けられた情報を計画するための言語対応の脳にツールを提供する。
論文 参考訳(メタデータ) (2020-05-22T14:29:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。