論文の概要: DISTA: Denoising Spiking Transformer with intrinsic plasticity and spatiotemporal attention

• arxiv url: http://arxiv.org/abs/2311.09376v1
• Date: Wed, 15 Nov 2023 21:09:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 17:44:29.504342
• Title: DISTA: Denoising Spiking Transformer with intrinsic plasticity and spatiotemporal attention
• Title（参考訳）: dista:内在可塑性と時空間的注意をともなう発声変圧器
• Authors: Boxun Xu, Hejia Geng, Yuxuan Yin, Peng Li
• Abstract要約: 固有塑性とテンポラルアテンションを有するデノナイジングスパイキングトランスであるdisTAについて紹介する。 ニューロンの計算能力の最大化、特に視覚応用のために設計されている。 DISTAは、わずか6つの時間ステップで、いくつかの静的画像およびダイナミックモーフィックデータセットにおいて、顕著なトップ1の精度を達成する。
• 参考スコア（独自算出の注目度）: 3.758294848902233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Among the array of neural network architectures, the Vision Transformer (ViT) stands out as a prominent choice, acclaimed for its exceptional expressiveness and consistent high performance in various vision applications. Recently, the emerging Spiking ViT approach has endeavored to harness spiking neurons, paving the way for a more brain-inspired transformer architecture that thrives in ultra-low power operations on dedicated neuromorphic hardware. Nevertheless, this approach remains confined to spatial self-attention and doesn't fully unlock the potential of spiking neural networks. We introduce DISTA, a Denoising Spiking Transformer with Intrinsic Plasticity and SpatioTemporal Attention, designed to maximize the spatiotemporal computational prowess of spiking neurons, particularly for vision applications. DISTA explores two types of spatiotemporal attentions: intrinsic neuron-level attention and network-level attention with explicit memory. Additionally, DISTA incorporates an efficient nonlinear denoising mechanism to quell the noise inherent in computed spatiotemporal attention maps, thereby resulting in further performance gains. Our DISTA transformer undergoes joint training involving synaptic plasticity (i.e., weight tuning) and intrinsic plasticity (i.e., membrane time constant tuning) and delivers state-of-the-art performances across several static image and dynamic neuromorphic datasets. With only 6 time steps, DISTA achieves remarkable top-1 accuracy on CIFAR10 (96.26%) and CIFAR100 (79.15%), as well as 79.1% on CIFAR10-DVS using 10 time steps.
• Abstract（参考訳）: ニューラルネットワークアーキテクチャの配列の中で、ViT(Vision Transformer)は、その例外的な表現力と、さまざまな視覚アプリケーションにおける一貫した高性能さで、目立った選択である。 最近、スパイキングのViTアプローチは、スパイキングニューロンの活用に尽力し、専用のニューロモルフィックハードウェアの超低消費電力操作で成長する脳にインスパイアされたトランスフォーマーアーキテクチャへの道を開いた。 それでもこのアプローチは空間的な自己注意に限られており、ニューラルネットワークをスパイクする可能性を完全には解かない。 本研究では、特に視覚応用において、スパイキングニューロンの時空間計算能力の最大化を目的とした、固有可塑性と時空間アテンションを備えたデノイングスパイキング変換器disTAを紹介する。 DISTAは、固有のニューロンレベルの注意と、明示的な記憶を伴うネットワークレベルの注意という、時空間的注意の2つのタイプを探索する。 さらに、disTAは、計算された時空間アテンションマップに固有のノイズをキュールする効率的な非線形デノナイジング機構を導入し、さらなる性能向上をもたらす。 DISTA変換器は, シナプス可塑性(重み付け)と内在可塑性(膜時間定数チューニング)を併用した共同訓練を行い, 複数の静的画像および動的ニューロモルフィックデータセットに最先端の性能を提供する。 DISTAは6つのタイムステップで、CIFAR10(96.26%)とCIFAR100(79.15%)で、CIFAR10-DVSでは10タイムステップで79.1%を達成している。

関連論文リスト

• DS2TA: Denoising Spiking Transformer with Attenuated Spatiotemporal Attention [3.440313042843115]
  本稿では,視覚応用のための時間的注意を減らしたデノイングスパイキング変換器DS2 DSTAを紹介する。 いくつかの広く採用されている静的画像と動的ニューロモルフィックデータセットの最先端性能を示す。 DS2TAはCIFAR10で94.92%、CIFAR100で77.47%、CIFAR10-DVSとDVS-Gestureで79.1%、94.44%を達成している。
  論文  参考訳（メタデータ） (2024-09-20T02:26:04Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• Efficient Deformable Tissue Reconstruction via Orthogonal Neural Plane [58.871015937204255]
  変形性組織を再建するための高速直交平面(Fast Orthogonal Plane)を導入する。 我々は外科手術を4Dボリュームとして概念化し、それらをニューラルネットワークからなる静的および動的フィールドに分解する。 この分解により4次元空間が増加し、メモリ使用量が減少し、最適化が高速化される。
  論文  参考訳（メタデータ） (2023-12-23T13:27:50Z)
• Gated Attention Coding for Training High-performance and Efficient Spiking Neural Networks [22.66931446718083]
  Gated Attention Coding (GAC) は、多次元アテンションユニットを利用して入力を効率よく強力な表現にエンコードするプラグイン・アンド・プレイモジュールである。 GACは、SNNのスパイク駆動特性を損なわない前処理層として機能する。 CIFAR10/100とImageNetデータセットの実験では、GACが最先端の精度を目覚ましい効率で達成していることが示されている。
  論文  参考訳（メタデータ） (2023-08-12T14:42:02Z)
• Training Robust Spiking Neural Networks with ViewPoint Transform and SpatioTemporal Stretching [4.736525128377909]
  本稿では,新しいデータ拡張手法であるViewPoint Transform and Spatio Stretching(VPT-STS)を提案する。 時間領域の回転中心と角度を変換し、異なる視点からサンプルを生成することにより、スパイクニューラルネットワークの堅牢性を向上させる。 有意なニューロモルフィックデータセットの実験により、VPT-STSは多点表現に広く有効であり、純粋な空間幾何学的変換を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2023-03-14T03:09:56Z)
• Exploiting High Performance Spiking Neural Networks with Efficient Spiking Patterns [4.8416725611508244]
  スパイキングニューラルネットワーク(SNN)は、離散スパイクシーケンスを使用して情報を伝達し、脳の情報伝達を著しく模倣する。 本稿では、動的バーストパターンを導入し、短時間の性能と動的時間的性能のトレードオフを可能にするLeaky Integrate and Fire or Burst(LIFB)ニューロンを設計する。
  論文  参考訳（メタデータ） (2023-01-29T04:22:07Z)
• Adapting Brain-Like Neural Networks for Modeling Cortical Visual Prostheses [68.96380145211093]
  皮質補綴は視覚野に移植された装置で、電気的にニューロンを刺激することで失った視力を回復しようとする。 現在、これらのデバイスが提供する視覚は限られており、刺激による視覚知覚を正確に予測することはオープンな課題である。 我々は、視覚システムの有望なモデルとして登場した「脳様」畳み込みニューラルネットワーク(CNN)を活用することで、この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2022-09-27T17:33:19Z)
• SpikeSEE: An Energy-Efficient Dynamic Scenes Processing Framework for Retinal Prostheses [3.794154439461156]
  本研究では,スパイク表現符号化技術とバイオインスパイクされたスパイキングリカレントニューラルネットワーク(SRNN)モデルを組み合わせたエネルギー効率の高い動的シーン処理フレームワーク(SpikeSEE)を提案する。 提案したSpikeSEEは,よりエネルギー消費の少ないガングリオン細胞の応答をより正確に予測する。
  論文  参考訳（メタデータ） (2022-09-16T12:46:10Z)
• Differentiable Frequency-based Disentanglement for Aerial Video Action Recognition [56.91538445510214]
  ビデオにおける人間の行動認識のための学習アルゴリズムを提案する。 我々のアプローチは、主に斜めに配置されたダイナミックカメラから取得されるUAVビデオのために設計されている。 我々はUAV HumanデータセットとNEC Droneデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-09-15T22:16:52Z)
• Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning [68.9515120904028]
  強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。 このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。 我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
  論文  参考訳（メタデータ） (2020-07-21T11:48:22Z)
• Learn to cycle: Time-consistent feature discovery for action recognition [83.43682368129072]
  時間的変動を一般化することは、ビデオにおける効果的な行動認識の前提条件である。 Squeeze Re Temporal Gates (SRTG) を導入する。 SRTPGブロックを使用する場合,GFLOの数は最小限に抑えられ,一貫した改善が見られた。
  論文  参考訳（メタデータ） (2020-06-15T09:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。