論文の概要: Brain-inspired continual pre-trained learner via silent synaptic consolidation

• arxiv url: http://arxiv.org/abs/2410.05899v1
• Date: Tue, 8 Oct 2024 10:56:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 12:20:15.119786
• Title: Brain-inspired continual pre-trained learner via silent synaptic consolidation
• Title（参考訳）: サイレントシナプス統合による脳誘発連続学習者
• Authors: Xuming Ran, Juntao Yao, Yusong Wang, Mingkun Xu, Dianbo Liu,
• Abstract要約: アーティは、成熟した脳で観察されるスパイク刺激依存性の可塑性を介してサイレントシナプスの活性化機構にインスパイアされている。 学習済みのネットワーク内で学習した知識のメモリ安定性を維持することで、成熟した脳のダイナミクスを模倣する。 推論中、人工的なサイレントと機能的なシナプスを使用して、事前訓練されたネットワークとサブネットワークとの間の正確な接続を確立する。
• 参考スコア（独自算出の注目度）: 2.872028467114491
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained models have demonstrated impressive generalization capabilities, yet they remain vulnerable to catastrophic forgetting when incrementally trained on new tasks. Existing architecture-based strategies encounter two primary challenges: 1) Integrating a pre-trained network with a trainable sub-network complicates the delicate balance between learning plasticity and memory stability across evolving tasks during learning. 2) The absence of robust interconnections between pre-trained networks and various sub-networks limits the effective retrieval of pertinent information during inference. In this study, we introduce the Artsy, inspired by the activation mechanisms of silent synapses via spike-timing-dependent plasticity observed in mature brains, to enhance the continual learning capabilities of pre-trained models. The Artsy integrates two key components: During training, the Artsy mimics mature brain dynamics by maintaining memory stability for previously learned knowledge within the pre-trained network while simultaneously promoting learning plasticity in task-specific sub-networks. During inference, artificial silent and functional synapses are utilized to establish precise connections between the pre-synaptic neurons in the pre-trained network and the post-synaptic neurons in the sub-networks, facilitated through synaptic consolidation, thereby enabling effective extraction of relevant information from test samples. Comprehensive experimental evaluations reveal that our model significantly outperforms conventional methods on class-incremental learning tasks, while also providing enhanced biological interpretability for architecture-based approaches. Moreover, we propose that the Artsy offers a promising avenue for simulating biological synaptic mechanisms, potentially advancing our understanding of neural plasticity in both artificial and biological systems.
• Abstract（参考訳）: 事前訓練されたモデルは、目覚ましい一般化能力を示しているが、新しいタスクで漸進的に訓練されたときに、破滅的な忘れ方に弱いままである。 既存のアーキテクチャベースの戦略は、主な2つの課題に直面する。 1)学習中に学習の可塑性と記憶の安定性の微妙なバランスを複雑化する訓練用サブネットワークをトレーニング可能なサブネットワークに統合する。 2)事前学習ネットワークと各種サブネットワーク間の堅牢な相互接続の欠如は,推論中の関連する情報の有効検索を制限する。 本研究では、成熟した脳で観察されるスパイク刺激依存性の可塑性を介してサイレントシナプスの活性化機構にインスパイアされたArticを紹介し、事前学習モデルの継続的な学習能力を向上させる。 Artyはトレーニング中に、トレーニング済みネットワーク内で学習した知識に対するメモリ安定性を維持しながら、タスク固有のサブネットワークにおける学習の可塑性を同時に促進することによって、成熟した脳のダイナミクスを模倣する。 推論中、人工的なサイレントと機能的シナプスを用いて、事前訓練されたネットワーク内のシナプス前ニューロンとサブネットワーク内のシナプス後ニューロンとの間の正確な接続を確立することにより、シナプス統合が促進され、テストサンプルから関連情報を効果的に抽出することができる。 包括的実験により,本モデルは従来のクラス増分学習法よりも優れており,アーキテクチャに基づくアプローチの生物学的解釈性も向上していることが明らかとなった。 さらに, 人工システムと生体システムの両方において, 神経可塑性の理解を深める可能性があり, 生体シナプス機構をシミュレートするための有望な道が提案されている。

関連論文リスト

• Synergistic pathways of modulation enable robust task packing within neural dynamics [0.0]
  ニューラルダイナミクスの文脈変調の2つの形態の区別を探索するために、リカレント・ネットワーク・モデルを用いる。 我々はこれらのメカニズムの区別を、それらが引き起こす神経力学のレベルで示す。 これらの特徴は、これらのメカニズムがどのように振る舞うかの相補性と相乗性を示している。
  論文  参考訳（メタデータ） (2024-08-02T15:12:01Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Theories of synaptic memory consolidation and intelligent plasticity for continual learning [7.573586022424398]
  シナプスの可塑性機構は 内部状態を維持し 進化させなければならない 可塑性アルゴリズムは 内部の状態を利用して 個々のシナプスで 可塑性をインテリジェントに制御する必要がある
  論文  参考訳（メタデータ） (2024-05-27T08:13:39Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• A Study of Biologically Plausible Neural Network: The Role and Interactions of Brain-Inspired Mechanisms in Continual Learning [13.041607703862724]
  人間は絶えず変化する環境から情報を取得し、統合し、保持するのに優れていますが、人工ニューラルネットワーク(ANN)は破滅的な忘れ物を示します。 我々は、デイルの原理に従う排他的および抑制的ニューロンの集団を分離して構成する生物学的に妥当な枠組みを考察する。 次に,脳にインスパイアされた様々なメカニズムの役割と相互作用について包括的研究を行い,その内容は,疎密な非重複表現,ヘビアン学習,シナプス統合,学習イベントに伴う過去の活性化の再現などである。
  論文  参考訳（メタデータ） (2023-04-13T16:34:12Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• Embodied Synaptic Plasticity with Online Reinforcement learning [5.6006805285925445]
  本稿では,これら2つの分野からオープンソースソフトウェアコンポーネントを統合することにより,計算神経科学とロボティクスの分野を連携させることに寄与する。 本稿では, オンライン強化学習(SPORE)によるシナプス塑性評価の枠組みについて述べる。
  論文  参考訳（メタデータ） (2020-03-03T10:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。