論文の概要: Delving Deeper Into Astromorphic Transformers

• arxiv url: http://arxiv.org/abs/2312.10925v1
• Date: Mon, 18 Dec 2023 04:35:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 21:31:56.743448
• Title: Delving Deeper Into Astromorphic Transformers
• Title（参考訳）: アストロモーフィックトランスフォーマーに深く入り込む
• Authors: Md Zesun Ahmed Mia, Malyaban Bal, Abhronil Sengupta
• Abstract要約: 本稿では,トランスフォーマーの自己保持機構を模倣するために,ニューロン-シナプス-アストロサイト相互作用の様々な重要な側面を深く掘り下げる。 この研究で探求されたクロスレイヤーの視点は、神経細胞-アストロサイトネットワークにおけるヘビアンおよびシナプス前可塑性の生物楽観的なモデリングである。 IMDBおよびCIFAR10データセットの感情・イメージ分類タスクの解析は、精度と学習速度の向上の観点から、アストロモルフィックトランスフォーマーを構築することの重要性を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 1.9775291915550175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preliminary attempts at incorporating the critical role of astrocytes - cells that constitute more than 50% of human brain cells - in brain-inspired neuromorphic computing remain in infancy. This paper seeks to delve deeper into various key aspects of neuron-synapse-astrocyte interactions to mimic self-attention mechanisms in Transformers. The cross-layer perspective explored in this work involves bio-plausible modeling of Hebbian and pre-synaptic plasticities in neuron-astrocyte networks, incorporating effects of non-linearities and feedback along with algorithmic formulations to map the neuron-astrocyte computations to self-attention mechanism and evaluating the impact of incorporating bio-realistic effects from the machine learning application side. Our analysis on sentiment and image classification tasks on the IMDB and CIFAR10 datasets underscores the importance of constructing Astromorphic Transformers from both accuracy and learning speed improvement perspectives.
• Abstract（参考訳）: 脳にインスパイアされた神経形コンピューティングにおけるアストロサイト(ヒト脳細胞の50%以上を占める細胞)のクリティカルな役割を組み込むための予備的な試みは、まだ初期段階にある。 本稿では,トランスフォーマーの自己保持機構を模倣するために,ニューロン-シナプス-アストロサイト相互作用の様々な重要な側面を深く掘り下げる。 この研究で探求されたクロスレイヤーの視点は、ニューロン-アストロサイトネットワークにおけるヘビアンおよびシナプス前可塑性のバイオプラスティックなモデリング、非線型性の影響とフィードバック、およびアルゴリズムによる定式化を取り入れて、ニューロン-アストロサイト計算を自己保持機構にマッピングし、機械学習アプリケーション側からバイオリアリスティック効果を取り入れた影響を評価することである。 IMDBおよびCIFAR10データセットの感情・イメージ分類タスクの解析は、精度と学習速度の改善の観点から、アストロモルフィックトランスフォーマーを構築することの重要性を強調している。

関連論文リスト

• A Fuzzy-based Approach to Predict Human Interaction by Functional Near-Infrared Spectroscopy [25.185426359719454]
  本稿では、心理学研究におけるニューラルモデルの解釈可能性と有効性に対する新しい計算手法であるファジィベースの注意層(ファジィ注意層)について紹介する。 ファジィロジックを活用することで、ファジィ注意層は神経活動の解釈可能なパターンを学習し識別することができる。
  論文  参考訳（メタデータ） (2024-09-26T09:20:12Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Astrocytes as a mechanism for meta-plasticity and contextually-guided network function [2.66269503676104]
  アストロサイトは、ユビキタスでエニグマティックな非神経細胞である。 アストロサイトは脳機能や神経計算においてより直接的で活発な役割を果たす。
  論文  参考訳（メタデータ） (2023-11-06T20:31:01Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Astromorphic Self-Repair of Neuromorphic Hardware Systems [0.8958368012475248]
  本稿では,グリア細胞の自己修復,特にアストロサイトの役割について検討する。 ハードウェア・ソフトウェアの共同設計分析は、生体形態の天体制御が、ハードウェアの現実的な欠陥を自己修復する可能性があることを明らかにしている。
  論文  参考訳（メタデータ） (2022-09-15T16:23:45Z)
• Brain Cortical Functional Gradients Predict Cortical Folding Patterns via Attention Mesh Convolution [51.333918985340425]
  我々は,脳の皮質ジャイロ-サルカル分割図を予測するための新しいアテンションメッシュ畳み込みモデルを開発した。 実験の結果,我々のモデルによる予測性能は,他の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-05-21T14:08:53Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Increasing Liquid State Machine Performance with Edge-of-Chaos Dynamics Organized by Astrocyte-modulated Plasticity [0.0]
  液体状態機械(LSM)は勾配のバックプロパゲーションなしで内部重量を調整する。 近年の知見は、アストロサイトがシナプスの可塑性と脳のダイナミクスを調節していることを示唆している。 本稿では, 自己組織的近接臨界力学を用いて, 性能の低いニューロン-アストロサイト液状状態機械 (NALSM) を提案する。
  論文  参考訳（メタデータ） (2021-10-26T23:04:40Z)
• On the Self-Repair Role of Astrocytes in STDP Enabled Unsupervised SNNs [1.0009912692042526]
  この研究は、ニューロンとシナプスの計算モデルに対する現在のニューロモルフィックコンピューティングアーキテクチャの焦点を越えている。 スパイクタイミング依存塑性(STDP)を用いた教師なし学習によるスパイクニューラルネットワークの耐故障能におけるグリア細胞の役割について検討する。 MNISTデータセットとFashion-MNISTデータセットで提案した提案を,50%から90%までのさまざまな障害度を持つネットワークで実現可能な自己修復の程度を特徴付ける。
  論文  参考訳（メタデータ） (2020-09-08T01:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。