論文の概要: Astrocyte-Enabled Advancements in Spiking Neural Networks for Large
Language Modeling
- arxiv url: http://arxiv.org/abs/2312.07625v2
- Date: Tue, 26 Dec 2023 02:54:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 21:13:12.202731
- Title: Astrocyte-Enabled Advancements in Spiking Neural Networks for Large
Language Modeling
- Title(参考訳): 大規模言語モデリングのためのスパイキングニューラルネットワークのアストロサイト拡張
- Authors: Guobin Shen, Dongcheng Zhao, Yiting Dong, Yang Li, Jindong Li, Kang
Sun, Yi Zeng
- Abstract要約: Astrocyte-Modulated Spiking Neural Network (AstroSNN) は、記憶保持や自然言語生成に関わるタスクにおいて、例外的な性能を示す。
AstroSNNは、実用的なアプリケーションで低レイテンシ、高スループット、メモリ使用量の削減を示す。
- 参考スコア(独自算出の注目度): 7.863029550014263
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Within the complex neuroarchitecture of the brain, astrocytes play crucial
roles in development, structure, and metabolism. These cells regulate neural
activity through tripartite synapses, directly impacting cognitive processes
such as learning and memory. Despite the growing recognition of astrocytes'
significance, traditional Spiking Neural Network (SNN) models remain
predominantly neuron-centric, overlooking the profound influence of astrocytes
on neural dynamics. Inspired by these biological insights, we have developed an
Astrocyte-Modulated Spiking Unit (AM-SU), an innovative framework that
integrates neuron-astrocyte interactions into the computational paradigm,
demonstrating wide applicability across various hardware platforms. Our
Astrocyte-Modulated Spiking Neural Network (AstroSNN) exhibits exceptional
performance in tasks involving memory retention and natural language
generation, particularly in handling long-term dependencies and complex
linguistic structures. The design of AstroSNN not only enhances its biological
authenticity but also introduces novel computational dynamics, enabling more
effective processing of complex temporal dependencies. Furthermore, AstroSNN
shows low latency, high throughput, and reduced memory usage in practical
applications, making it highly suitable for resource-constrained environments.
By successfully integrating astrocytic dynamics into intelligent neural
networks, our work narrows the gap between biological plausibility and neural
modeling, laying the groundwork for future biologically-inspired neural
computing research that includes both neurons and astrocytes.
- Abstract(参考訳): 脳の複雑な神経構造の中で、アストロサイトは発達、構造、代謝において重要な役割を果たす。
これらの細胞は三成分シナプスを介して神経活動を調節し、学習や記憶などの認知過程に直接影響を与える。
アストロサイトの重要性の認識が高まりつつあるにもかかわらず、従来のスパイキングニューラルネットワーク(SNN)モデルは主に神経細胞中心であり、アストロサイトが神経力学に深く影響していることを見越す。
これらの生物学的知見に触発されて、我々は神経細胞-星細胞相互作用を計算パラダイムに統合する革新的なフレームワークであるアストロサイト修飾スパイキングユニット(am-su)を開発した。
astrocyte-modulated spiking neural network(astrosnn)は,記憶保持と自然言語生成,特に長期依存と複雑な言語構造を扱うタスクにおいて,非常に優れた性能を示す。
astrosnnの設計は生物学的信頼性を高めるだけでなく、新しい計算動力学を導入し、複雑な時間依存のより効果的な処理を可能にする。
さらに、AstroSNNは、低レイテンシ、高スループット、実用的なアプリケーションにおけるメモリ使用量の削減を示し、リソース制約のある環境に非常に適している。
我々の研究は、知的ニューラルネットワークに天体力学をうまく統合することで、生物学的可視性とニューラルモデリングのギャップを狭め、神経細胞とアストロサイトの両方を含む未来の生物学的にインスパイアされたニューラルコンピューティング研究の基盤となる。
関連論文リスト
- Astrocytes as a mechanism for meta-plasticity and contextually-guided
network function [2.66269503676104]
アストロサイトは、ユビキタスでエニグマティックな非神経細胞である。
アストロサイトは脳機能や神経計算においてより直接的で活発な役割を果たす。
論文 参考訳(メタデータ) (2023-11-06T20:31:01Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳(メタデータ) (2023-10-25T13:15:17Z) - Learning to Act through Evolution of Neural Diversity in Random Neural
Networks [9.387749254963595]
ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。
本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
論文 参考訳(メタデータ) (2023-05-25T11:33:04Z) - Dive into the Power of Neuronal Heterogeneity [8.6837371869842]
進化戦略(ES)を用いて、スパイキングニューラルネットワーク(SNN)を最適化し、ランダムネットワークにおける異種ニューロンのより堅牢な最適化を実現するためのバックプロパゲーションベースの手法が直面する課題を示す。
膜時間定数は神経異質性において重要な役割を担っており、その分布は生物学的実験で観察されたものと類似している。
論文 参考訳(メタデータ) (2023-05-19T07:32:29Z) - Multi-compartment Neuron and Population Encoding improved Spiking Neural
Network for Deep Distributional Reinforcement Learning [3.036382664997076]
スパイキングニューラルネットワーク(SNN)はエネルギー消費が著しく低く、マルチスケールの生物学的特性を取り入れるのに適している。
本稿では,脳にインスパイアされたSNNに基づく深部分布強化学習アルゴリズムと,生体にインスパイアされたマルチコンパートメントニューロン(MCN)モデルと集団符号化法の組み合わせを提案する。
論文 参考訳(メタデータ) (2023-01-18T02:45:38Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳(メタデータ) (2022-12-08T15:16:04Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳(メタデータ) (2022-01-19T09:26:34Z) - Towards efficient end-to-end speech recognition with
biologically-inspired neural networks [10.457580011403289]
軸-体性および軸-体性シナプスを模擬した神経接続概念を導入する。
我々は,大規模ASRモデルの生物学的に現実的な実装によって,競争性能が向上できることを初めて実証した。
論文 参考訳(メタデータ) (2021-10-04T21:24:10Z) - Mapping and Validating a Point Neuron Model on Intel's Neuromorphic
Hardware Loihi [77.34726150561087]
インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。
Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。
Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
論文 参考訳(メタデータ) (2021-09-22T16:52:51Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。