論文の概要: Delving Deeper Into Astromorphic Transformers
- arxiv url: http://arxiv.org/abs/2312.10925v2
- Date: Tue, 9 Jan 2024 23:27:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-11 16:43:17.272280
- Title: Delving Deeper Into Astromorphic Transformers
- Title(参考訳): アストロモーフィックトランスフォーマーに深く入り込む
- Authors: Md Zesun Ahmed Mia, Malyaban Bal, Abhronil Sengupta
- Abstract要約: 本稿では,トランスフォーマーの自己保持機構を模倣するために,ニューロン-シナプス-アストロサイト相互作用の様々な重要な側面を深く掘り下げる。
この研究で探求されたクロスレイヤーの視点は、神経細胞-アストロサイトネットワークにおけるヘビアンおよびシナプス前可塑性の生物楽観的なモデリングである。
IMDBおよびCIFAR10データセットの感情・イメージ分類タスクの解析は、精度と学習速度の向上の観点から、アストロモルフィックトランスフォーマーを構築することの重要性を浮き彫りにした。
- 参考スコア(独自算出の注目度): 1.9775291915550175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Preliminary attempts at incorporating the critical role of astrocytes - cells
that constitute more than 50% of human brain cells - in brain-inspired
neuromorphic computing remain in infancy. This paper seeks to delve deeper into
various key aspects of neuron-synapse-astrocyte interactions to mimic
self-attention mechanisms in Transformers. The cross-layer perspective explored
in this work involves bio-plausible modeling of Hebbian and pre-synaptic
plasticities in neuron-astrocyte networks, incorporating effects of
non-linearities and feedback along with algorithmic formulations to map the
neuron-astrocyte computations to self-attention mechanism and evaluating the
impact of incorporating bio-realistic effects from the machine learning
application side. Our analysis on sentiment and image classification tasks on
the IMDB and CIFAR10 datasets underscores the importance of constructing
Astromorphic Transformers from both accuracy and learning speed improvement
perspectives.
- Abstract(参考訳): 脳にインスパイアされた神経形コンピューティングにおけるアストロサイト(ヒト脳細胞の50%以上を占める細胞)のクリティカルな役割を組み込むための予備的な試みは、まだ初期段階にある。
本稿では,トランスフォーマーの自己保持機構を模倣するために,ニューロン-シナプス-アストロサイト相互作用の様々な重要な側面を深く掘り下げる。
この研究で探求されたクロスレイヤーの視点は、ニューロン-アストロサイトネットワークにおけるヘビアンおよびシナプス前可塑性のバイオプラスティックなモデリング、非線型性の影響とフィードバック、およびアルゴリズムによる定式化を取り入れて、ニューロン-アストロサイト計算を自己保持機構にマッピングし、機械学習アプリケーション側からバイオリアリスティック効果を取り入れた影響を評価することである。
IMDBおよびCIFAR10データセットの感情・イメージ分類タスクの解析は、精度と学習速度の改善の観点から、アストロモルフィックトランスフォーマーを構築することの重要性を強調している。
関連論文リスト
- Neural Echos: Depthwise Convolutional Filters Replicate Biological
Receptive Fields [56.69755544814834]
哺乳類網膜で観察される生体受容野を,深部核が効果的に複製していることを示す証拠を提示する。
生体受容の分野からインスピレーションを得る手法を提案する。
論文 参考訳(メタデータ) (2024-01-18T18:06:22Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - Attention for Causal Relationship Discovery from Biological Neural
Dynamics [9.097847269529202]
本稿では,各ノードに複雑な非線形ダイナミクスを持つネットワークにおけるグランガー因果関係を学習するための変圧器モデルの可能性について検討する。
クロスアテンションモジュールはニューロン間の因果関係を効果的に把握し,最も一般的なグランガー因果関係解析法と同等かそれ以上の精度で検出することを示した。
論文 参考訳(メタデータ) (2023-11-12T18:59:42Z) - Astrocytes as a mechanism for meta-plasticity and contextually-guided
network function [2.66269503676104]
アストロサイトは、ユビキタスでエニグマティックな非神経細胞である。
アストロサイトは脳機能や神経計算においてより直接的で活発な役割を果たす。
論文 参考訳(メタデータ) (2023-11-06T20:31:01Z) - Astromorphic Self-Repair of Neuromorphic Hardware Systems [0.8958368012475248]
本稿では,グリア細胞の自己修復,特にアストロサイトの役割について検討する。
ハードウェア・ソフトウェアの共同設計分析は、生体形態の天体制御が、ハードウェアの現実的な欠陥を自己修復する可能性があることを明らかにしている。
論文 参考訳(メタデータ) (2022-09-15T16:23:45Z) - Brain Cortical Functional Gradients Predict Cortical Folding Patterns
via Attention Mesh Convolution [51.333918985340425]
我々は,脳の皮質ジャイロ-サルカル分割図を予測するための新しいアテンションメッシュ畳み込みモデルを開発した。
実験の結果,我々のモデルによる予測性能は,他の最先端モデルよりも優れていた。
論文 参考訳(メタデータ) (2022-05-21T14:08:53Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳(メタデータ) (2021-11-29T15:27:51Z) - Increasing Liquid State Machine Performance with Edge-of-Chaos Dynamics
Organized by Astrocyte-modulated Plasticity [0.0]
液体状態機械(LSM)は勾配のバックプロパゲーションなしで内部重量を調整する。
近年の知見は、アストロサイトがシナプスの可塑性と脳のダイナミクスを調節していることを示唆している。
本稿では, 自己組織的近接臨界力学を用いて, 性能の低いニューロン-アストロサイト液状状態機械 (NALSM) を提案する。
論文 参考訳(メタデータ) (2021-10-26T23:04:40Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - On the Self-Repair Role of Astrocytes in STDP Enabled Unsupervised SNNs [1.0009912692042526]
この研究は、ニューロンとシナプスの計算モデルに対する現在のニューロモルフィックコンピューティングアーキテクチャの焦点を越えている。
スパイクタイミング依存塑性(STDP)を用いた教師なし学習によるスパイクニューラルネットワークの耐故障能におけるグリア細胞の役割について検討する。
MNISTデータセットとFashion-MNISTデータセットで提案した提案を,50%から90%までのさまざまな障害度を持つネットワークで実現可能な自己修復の程度を特徴付ける。
論文 参考訳(メタデータ) (2020-09-08T01:14:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。