論文の概要: GateON: an unsupervised method for large scale continual learning

• arxiv url: http://arxiv.org/abs/2306.01690v1
• Date: Fri, 2 Jun 2023 17:04:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 14:02:53.361316
• Title: GateON: an unsupervised method for large scale continual learning
• Title（参考訳）: gateon: 大規模連続学習のための教師なし手法
• Authors: Martin Barry, Guillaume Bellec, Wulfram Gerstner
• Abstract要約: Gateonは学習可能なアクティビティのゲーティングとパラメータ関連性のオンライン推定を組み合わせることで、重要な知識が上書きされるのを防ぐ。 Gateonは、幅広いネットワーク(全接続、CNN、Transformers)で実装されており、計算の複雑さが低く、100MNISTの学習タスクを効果的に学習し、CLベースのNLPタスクにおいて、事前学習されたBERTの上位層の結果を得る。
• 参考スコア（独自算出の注目度）: 4.143603294943439
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The objective of continual learning (CL) is to learn tasks sequentially without retraining on earlier tasks. However, when subjected to CL, traditional neural networks exhibit catastrophic forgetting and limited generalization. To overcome these problems, we introduce a novel method called 'Gate and Obstruct Network' (GateON). GateON combines learnable gating of activity and online estimation of parameter relevance to safeguard crucial knowledge from being overwritten. Our method generates partially overlapping pathways between tasks which permits forward and backward transfer during sequential learning. GateON addresses the issue of network saturation after parameter fixation by a re-activation mechanism of fixed neurons, enabling large-scale continual learning. GateON is implemented on a wide range of networks (fully-connected, CNN, Transformers), has low computational complexity, effectively learns up to 100 MNIST learning tasks, and achieves top-tier results for pre-trained BERT in CL-based NLP tasks.
• Abstract（参考訳）: 継続学習(CL)の目的は、以前のタスクを再学習することなく連続的にタスクを学習することである。 しかし、clを受けると、従来のニューラルネットワークは破滅的な忘れ方と限定的な一般化を示す。 これらの問題を解決するために,Gate and Obstruct Network (GateON) と呼ばれる新しい手法を導入する。 gateonは、学習可能なアクティビティのゲーティングとパラメータ関連性のオンライン推定を組み合わせて、重要な知識を上書きから守る。 本手法は,逐次学習中に前方および後方移動を許容するタスク間の部分重複経路を生成する。 Gateonは、固定ニューロンの再活性化機構によるパラメータ固定後のネットワーク飽和の問題に対処し、大規模連続学習を可能にした。 Gateonは、幅広いネットワーク(全接続、CNN、Transformers)で実装されており、計算の複雑さが低く、100MNISTの学習タスクを効果的に学習し、CLベースのNLPタスクにおいて、事前学習されたBERTの上位層の結果を得る。

関連論文リスト

• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• CHANI: Correlation-based Hawkes Aggregation of Neurons with bio-Inspiration [7.26259898628108]
  本研究の目的は,生物学にインスパイアされたニューラルネットワークが,局所的な変換のみによって分類タスクを学習できることを数学的に証明することである。 我々は、ホークス過程によってニューロンの活動がモデル化されるCHANIというスパイクニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T07:17:58Z)
• Curriculum effects and compositionality emerge with in-context learning in neural networks [15.744573869783972]
  In-context learning (ICL) が可能なネットワークは、ルールが支配するタスクにおいて、人間のような学習や構成の振る舞いを再現できることを示す。 我々の研究は、創発性ICLがニューラルネットワークに、伝統的に帰属するものと根本的に異なる学習特性を持たせる方法を示している。
  論文  参考訳（メタデータ） (2024-02-13T18:55:27Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Flexible Phase Dynamics for Bio-Plausible Contrastive Learning [11.179324762680297]
  Contrastive Learning (CL)アルゴリズムは、伝統的に剛性、時間的に非局所的、周期的な学習ダイナミクスで実装されている。 この研究は、CLが生物学的またはニューロモルフィックシステムによってどのように実装されるかを研究する研究に基づいている。 このような学習は時間的に局所的に行うことができ、標準的な訓練手順の動的要求の多くを緩和しても機能することを示す。
  論文  参考訳（メタデータ） (2023-02-24T03:18:45Z)
• Bio-Inspired, Task-Free Continual Learning through Activity Regularization [3.5502600490147196]
  継続的学習アプローチは通常、個別のタスク境界を必要とする。 我々は神経科学からインスピレーションを得ており、忘れるのを防ぐために、スパースで重複しない神経表現が提案されている。 空間性に加えて,各層に横方向のリカレント接続を導入し,事前学習した表現をさらに保護する。 本手法は,タスク境界に関する情報を必要とせずに,弾性重み統合やシナプスインテリジェンスなどのよく知られたCL手法と類似した性能を実現する。
  論文  参考訳（メタデータ） (2022-12-08T15:14:20Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
  我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。 人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
  論文  参考訳（メタデータ） (2021-02-18T14:53:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。