論文の概要: A Study of Biologically Plausible Neural Network: The Role and
Interactions of Brain-Inspired Mechanisms in Continual Learning
- arxiv url: http://arxiv.org/abs/2304.06738v1
- Date: Thu, 13 Apr 2023 16:34:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 15:38:41.565696
- Title: A Study of Biologically Plausible Neural Network: The Role and
Interactions of Brain-Inspired Mechanisms in Continual Learning
- Title（参考訳）: 生体可塑性ニューラルネットワークの研究:連続学習における脳誘発メカニズムの役割と相互作用
- Authors: Fahad Sarfraz, Elahe Arani, Bahram Zonooz
- Abstract要約: 人間は絶えず変化する環境から情報を取得し、統合し、保持するのに優れていますが、人工ニューラルネットワーク(ANN)は破滅的な忘れ物を示します。
我々は、デイルの原理に従う排他的および抑制的ニューロンの集団を分離して構成する生物学的に妥当な枠組みを考察する。
次に,脳にインスパイアされた様々なメカニズムの役割と相互作用について包括的研究を行い,その内容は,疎密な非重複表現,ヘビアン学習,シナプス統合,学習イベントに伴う過去の活性化の再現などである。
- 参考スコア（独自算出の注目度）: 13.041607703862724
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Humans excel at continually acquiring, consolidating, and retaining
information from an ever-changing environment, whereas artificial neural
networks (ANNs) exhibit catastrophic forgetting. There are considerable
differences in the complexity of synapses, the processing of information, and
the learning mechanisms in biological neural networks and their artificial
counterparts, which may explain the mismatch in performance. We consider a
biologically plausible framework that constitutes separate populations of
exclusively excitatory and inhibitory neurons that adhere to Dale's principle,
and the excitatory pyramidal neurons are augmented with dendritic-like
structures for context-dependent processing of stimuli. We then conduct a
comprehensive study on the role and interactions of different mechanisms
inspired by the brain, including sparse non-overlapping representations,
Hebbian learning, synaptic consolidation, and replay of past activations that
accompanied the learning event. Our study suggests that the employing of
multiple complementary mechanisms in a biologically plausible architecture,
similar to the brain, may be effective in enabling continual learning in ANNs.
- Abstract（参考訳）: 人間は絶えず変化する環境から情報を取得し、統合し、保持するのに優れていますが、人工ニューラルネットワーク(ANN)は破滅的な忘れ物を示します。
シナプスの複雑さ、情報の処理、生物学的ニューラルネットワークとその人工ニューラルネットワークにおける学習メカニズムにはかなりの違いがあり、性能のミスマッチを説明できるかもしれない。
我々は、デイルの原理に従う排他的および抑制的ニューロンの集団を構成する生物学的に妥当な枠組みを検討し、興奮性錐体ニューロンは、刺激の文脈依存的な処理のために樹状構造によって増強される。
次に,脳にインスパイアされた様々なメカニズムの役割と相互作用について包括的研究を行い,その内容は,疎密な非重複表現,ヘビアン学習,シナプス統合,学習イベントに伴う過去の活性化の再現などである。
本研究は, 生物学的に妥当なアーキテクチャにおける複数の相補的機構の活用が, 脳の連続学習に有効である可能性が示唆された。
関連論文リスト
- Brain-like Functional Organization within Large Language Models [58.93629121400745]
人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた
最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。
本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。
このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
論文 参考訳（メタデータ） (2024-10-25T13:15:17Z) - Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。
このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。
これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
論文 参考訳（メタデータ） (2024-10-17T17:47:54Z) - Synergistic pathways of modulation enable robust task packing within neural dynamics [0.0]
ニューラルダイナミクスの文脈変調の2つの形態の区別を探索するために、リカレント・ネットワーク・モデルを用いる。
我々はこれらのメカニズムの区別を、それらが引き起こす神経力学のレベルで示す。
これらの特徴は、これらのメカニズムがどのように振る舞うかの相補性と相乗性を示している。
論文 参考訳（メタデータ） (2024-08-02T15:12:01Z) - Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。
本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。
本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
論文 参考訳（メタデータ） (2024-04-22T09:40:07Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Brain-inspired learning in artificial neural networks: a review [5.064447369892274]
人工ニューラルネットワークにおける脳にインスパイアされた学習表現について概説する。
これらのネットワークの能力を高めるために, シナプス可塑性などの生物学的に妥当な機構の統合について検討する。
論文 参考訳（メタデータ） (2023-05-18T18:34:29Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Learning by Active Forgetting for Neural Networks [36.47528616276579]
記憶と忘れのメカニズムは、人間の学習記憶システムにおいて、同じコインの2つの側面である。
現代の機械学習システムは、記憶を良くすることで、生涯にわたる学習能力を持つ機械を育むために取り組んできた。
本稿では,ニューラルネットワークを用いた能動的記憶機構による学習モデルを提案する。
論文 参考訳（メタデータ） (2021-11-21T14:55:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。