論文の概要: Attention via Synaptic Plasticity is All You Need: A Biologically Inspired Spiking Neuromorphic Transformer

• arxiv url: http://arxiv.org/abs/2511.14691v1
• Date: Tue, 18 Nov 2025 17:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 16:23:53.23495
• Title: Attention via Synaptic Plasticity is All You Need: A Biologically Inspired Spiking Neuromorphic Transformer
• Title（参考訳）: バイオインスパイアされたスパイクニューロモルフィックトランス「Synaptic Plasticity」
• Authors: Kallol Mondal, Ankush Kumar,
• Abstract要約: スパイク刺激依存型可塑性(STDP)による自己注意を実現するニューロモルフィックトランスフォーマーを提案する。 脳内の記憶と学習のコアメカニズムであるSTDPは、自然にインメモリコンピューティングを可能にし、非ヴォンノイマンハードウェアをサポートする。 CIFAR-100では94.35%と78.08%の精度を達成し、標準のANNトランスに比べて88.47%のエネルギー削減を実現した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention is the brain's ability to selectively focus on a few specific aspects while ignoring irrelevant ones. This biological principle inspired the attention mechanism in modern Transformers. Transformers now underpin large language models (LLMs) such as GPT, but at the cost of massive training and inference energy, leading to a large carbon footprint. While brain attention emerges from neural circuits, Transformer attention relies on dot-product similarity to weight elements in the input sequence. Neuromorphic computing, especially spiking neural networks (SNNs), offers a brain-inspired path to energy-efficient intelligence. Despite recent work on attention-based spiking Transformers, the core attention layer remains non-neuromorphic. Current spiking attention (i) relies on dot-product or element-wise similarity suited to floating-point operations, not event-driven spikes; (ii) keeps attention matrices that suffer from the von Neumann bottleneck, limiting in-memory computing; and (iii) still diverges from brain-like computation. To address these issues, we propose the Spiking STDP Transformer (S$^{2}$TDPT), a neuromorphic Transformer that implements self-attention through spike-timing-dependent plasticity (STDP), embedding query--key correlations in synaptic weights. STDP, a core mechanism of memory and learning in the brain and widely studied in neuromorphic devices, naturally enables in-memory computing and supports non-von Neumann hardware. On CIFAR-10 and CIFAR-100, our model achieves 94.35\% and 78.08\% accuracy with only four timesteps and 0.49 mJ on CIFAR-100, an 88.47\% energy reduction compared to a standard ANN Transformer. Grad-CAM shows that the model attends to semantically relevant regions, enhancing interpretability. Overall, S$^{2}$TDPT illustrates how biologically inspired attention can yield energy-efficient, hardware-friendly, and explainable neuromorphic models.
• Abstract（参考訳）: 注意力とは、無関係なものを無視しながら、いくつかの特定の側面に選択的に焦点を合わせる能力である。 この生物学的原理は現代のトランスフォーマーの注意機構に影響を与えた。 トランスフォーマーは現在、GPTのような大きな言語モデル(LLM)を支えているが、大量のトレーニングと推論エネルギーを犠牲にして、大きな炭素フットプリントを生み出している。 脳の注意は神経回路から現れるが、トランスフォーマーの注意は入力シーケンスの重み要素とドット積の類似性に依存する。 ニューロモルフィックコンピューティング、特にスパイクニューラルネットワーク(SNN)は、エネルギー効率の良いインテリジェンスへの脳にインスパイアされた経路を提供する。 最近の注目ベースのスパイクトランスの研究にもかかわらず、コアアテンション層はニューロモルフィックではない。 現在のスパイク注意 i) イベント駆動スパイクではなく、浮動小数点演算に適した点積又は要素単位の類似性に依存している。 (II) インメモリコンピューティングを制限するフォン・ノイマンボトルネックに苦しむ注意行列 (iii)脳のような計算とは相容れない。 これらの問題に対処するために,スパイクタイピング依存塑性(STDP)による自己注意を実装したニューロモルフィック変換器であるSpking STDP Transformer (S$^{2}$TDPT)を提案する。 STDPは脳内の記憶と学習のコアメカニズムであり、ニューロモルフィックデバイスで広く研究されている。 CIFAR-10 と CIFAR-100 では,標準の ANN 変換器に比べて 88.47 % のエネルギー削減が可能で,その精度は 94.35 % と 78.08 % の4段階のみであり,CIFAR-100 では 0.49 mJ となる。 Grad-CAMは、モデルが意味論的に関連のある領域に到達し、解釈可能性を高めることを示している。 全体として、S$^{2}$TDPTは、生物学的にインスパイアされた注意が、いかにエネルギー効率が高く、ハードウェアフレンドリーで、説明可能なニューロモルフィックモデルをもたらすかを示す。

関連論文リスト

• Topology Optimization of Random Memristors for Input-Aware Dynamic SNN [44.38472635536787]
  入力対応動的旋回型スパイクニューラルネットワーク(PRIME)のプルーニング最適化について紹介する。 信号表現の面では、PRIMEは脳固有のスパイキング機構をエミュレートするために、漏れやすい統合と発火のニューロンを使用する。 計算深度の動的調整にインスパイアされた再構成性のために、PRIMEは入力対応の動的早期停止ポリシーを採用している。
  論文  参考訳（メタデータ） (2024-07-26T09:35:02Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• Delving Deeper Into Astromorphic Transformers [1.7595244858303718]
  本稿では,トランスフォーマーの自己保持機構を模倣するために,ニューロン-シナプス-アストロサイト相互作用の様々な重要な側面を深く掘り下げる。 感情とイメージの分類タスクの分析は、アストロモルフィックトランスフォーマーの利点を強調し、精度と学習速度を改善した。
  論文  参考訳（メタデータ） (2023-12-18T04:35:07Z)
• Neural-Logic Human-Object Interaction Detection [67.4993347702353]
  本稿では,ニューラルロジック推論を利用した新しいHOI検出器であるL OGIC HOIと,実体間の相互作用を推測するTransformerを提案する。 具体的には,バニラトランスフォーマーの自己保持機構を改変し,人間,行動,対象>三重項を推論し,新たな相互作用を構成する。 我々はこれらの2つの特性を一階述語論理で定式化し、それらを連続空間に基底にして、我々のアプローチの学習過程を制約し、性能とゼロショットの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2023-11-16T11:47:53Z)
• Stabilizing Transformer Training by Preventing Attention Entropy Collapse [56.45313891694746]
  本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。 我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。 画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
  論文  参考訳（メタデータ） (2023-03-11T03:30:47Z)
• Sequence learning in a spiking neuronal network with memristive synapses [0.0]
  脳計算の中心にある中核的な概念は、シーケンス学習と予測である。 ニューロモルフィックハードウェアは、脳が情報を処理する方法をエミュレートし、ニューロンとシナプスを直接物理的基質にマッピングする。 シークエンス学習モデルにおける生物学的シナプスの代替としてReRAMデバイスを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2022-11-29T21:07:23Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• Intrinsic Spike Timing Dependent Plasticity in Stochastic Magnetic Tunnel Junctions Mediated by Heat Dynamics [0.0]
  ニューロモルフィックコンピューティングは、固体デバイスや回路を用いて生物学的ニューロンやシナプスの挙動を模倣することを目的としている。 磁気トンネル接合(MTJ)装置における生体シナプスのスパイクタイミング依存塑性(STDP)挙動を実装する手法を提案する。
  論文  参考訳（メタデータ） (2021-08-28T18:02:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。