論文の概要: Online Transformers with Spiking Neurons for Fast Prosthetic Hand
Control
- arxiv url: http://arxiv.org/abs/2303.11860v1
- Date: Tue, 21 Mar 2023 13:59:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 14:47:48.263918
- Title: Online Transformers with Spiking Neurons for Fast Prosthetic Hand
Control
- Title（参考訳）: 高速義手制御のためのスパイクニューロンを用いたオンライントランス
- Authors: Nathan Leroux, Jan Finkbeiner, Emre Neftci
- Abstract要約: 本稿では,自己注意機構の代わりにスライディングウィンドウアテンション機構を用いる。
この機構は、入力とターゲット間の有限範囲依存性を持つ連続的な信号に対してより効率的であることを示す。
本研究の結果は,スムーズな義手制御のためのsEMG信号の正確かつ高速なオンライン処理を約束するものである。
- 参考スコア（独自算出の注目度）: 1.6114012813668934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers are state-of-the-art networks for most sequence processing
tasks. However, the self-attention mechanism often used in Transformers
requires large time windows for each computation step and thus makes them less
suitable for online signal processing compared to Recurrent Neural Networks
(RNNs). In this paper, instead of the self-attention mechanism, we use a
sliding window attention mechanism. We show that this mechanism is more
efficient for continuous signals with finite-range dependencies between input
and target, and that we can use it to process sequences element-by-element,
this making it compatible with online processing. We test our model on a finger
position regression dataset (NinaproDB8) with Surface Electromyographic (sEMG)
signals measured on the forearm skin to estimate muscle activities. Our
approach sets the new state-of-the-art in terms of accuracy on this dataset
while requiring only very short time windows of 3.5 ms at each inference step.
Moreover, we increase the sparsity of the network using Leaky-Integrate and
Fire (LIF) units, a bio-inspired neuron model that activates sparsely in time
solely when crossing a threshold. We thus reduce the number of synaptic
operations up to a factor of $\times5.3$ without loss of accuracy. Our results
hold great promises for accurate and fast online processing of sEMG signals for
smooth prosthetic hand control and is a step towards Transformers and Spiking
Neural Networks (SNNs) co-integration for energy efficient temporal signal
processing.
- Abstract（参考訳）: トランスフォーマーは、ほとんどのシーケンス処理タスクで最先端のネットワークである。
しかし、トランスフォーマーでよく使用される自己照準機構は、計算ステップ毎に大きな時間窓を必要とするため、リカレントニューラルネットワーク(rnn)に比べてオンライン信号処理に適さない。
本稿では,自己注意機構の代わりにスライディングウィンドウアテンション機構を用いる。
この機構は、入力とターゲット間の有限範囲依存性を持つ連続信号に対してより効率的であり、配列を要素単位で処理できるので、オンライン処理と互換性があることを示す。
前腕皮膚で計測された表面筋電図(sEMG)を用いて指位置回帰データセット(NinaproDB8)を用いて,筋活動を評価する。
提案手法では,このデータセットの精度の観点から新たな最先端を設定できるが,推論ステップ毎に3.5msの非常に短時間のウィンドウしか必要としない。
さらに,しきい値を超えた場合のみ,短時間で活性化するバイオインスパイアされたニューロンモデルであるLeaky-Integrate and Fire (LIF) ユニットを用いて,ネットワークの空間幅を増大させる。
これにより、精度を損なうことなく、シナプス演算の数を$\times5.3$まで削減する。
本研究の結果は,スムーズな義手制御のためのsEMG信号の高精度かつ高速なオンライン処理を約束するものであり,エネルギー効率の高い時間信号処理のためのTransformers and Spiking Neural Networks (SNNs) 統合に向けたステップである。
関連論文リスト
- ARNN: Attentive Recurrent Neural Network for Multi-channel EEG Signals
to Identify Epileptic Seizures [2.8244056068360095]
本稿では,アテンテート・リカレント・ニューラルネットワーク (ARNN) を提案する。
提案モデルは単一チャネル信号ではなく,マルチチャネルEEG信号で動作し,並列計算を利用する。
論文 参考訳（メタデータ） (2024-03-05T19:15:17Z) - Low-power event-based face detection with asynchronous neuromorphic
hardware [2.0774873363739985]
本稿では、SynSense Speckニューロモルフィックチップ上に展開されたイベントベースの顔検出のためのオンチップスパイクニューラルネットワークの最初の例を示す。
トレーニングに用いるオフチップクロック駆動シミュレーションとオンチップイベント駆動推論との精度の相違について述べる。
オンチップ顔検出のmAP[0.5]は0.6で、20mWしか消費しない。
論文 参考訳（メタデータ） (2023-12-21T19:23:02Z) - NAC-TCN: Temporal Convolutional Networks with Causal Dilated
Neighborhood Attention for Emotion Understanding [60.74434735079253]
畳み込みTCN(NAC-TCN)を用いた近傍注意法を提案する。
これを実現するために、Dilated Neighborhood Attentionの因果バージョンを導入し、畳み込みを組み込んだ。
我々のモデルは、標準的な感情認識データセットに少ないパラメータを必要としながら、TCN、TCL、LSTM、GRUに匹敵する、より優れた、あるいは最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-12-12T18:41:30Z) - DYNAP-SE2: a scalable multi-core dynamic neuromorphic asynchronous
spiking neural network processor [2.9175555050594975]
我々は、リアルタイムイベントベーススパイキングニューラルネットワーク(SNN)をプロトタイピングするための、脳にインスパイアされたプラットフォームを提案する。
提案システムは, 短期可塑性, NMDA ゲーティング, AMPA拡散, ホメオスタシス, スパイク周波数適応, コンダクタンス系デンドライトコンパートメント, スパイク伝達遅延などの動的および現実的なニューラル処理現象の直接エミュレーションを支援する。
異なる生物学的に可塑性のニューラルネットワークをエミュレートする柔軟性と、個体群と単一ニューロンの信号の両方をリアルタイムで監視する能力により、基礎研究とエッジコンピューティングの両方への応用のための複雑なニューラルネットワークモデルの開発と検証が可能になる。
論文 参考訳（メタデータ） (2023-10-01T03:48:16Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Signal Detection in MIMO Systems with Hardware Imperfections: Message
Passing on Neural Networks [101.59367762974371]
本稿では,Multi-Input-multiple-output (MIMO)通信システムにおける信号検出について検討する。
パイロット信号が限られているディープニューラルネットワーク(DNN)のトレーニングは困難であり、実用化を妨げている。
我々は、ユニタリ近似メッセージパッシング(UAMP)アルゴリズムを利用して、効率的なメッセージパッシングに基づくベイズ信号検出器を設計する。
論文 参考訳（メタデータ） (2022-10-08T04:32:58Z) - RF-Photonic Deep Learning Processor with Shannon-Limited Data Movement [0.0]
光ニューラルネットワーク(ONN)は、超低レイテンシとエネルギー消費を持つ有望な加速器である。
我々は、周波数領域のデータを符号化する乗法的アナログ周波数変換ONN(MAFT-ONN)を導入する。
我々は、生のRF信号で完全にアナログのディープラーニングを演算する最初のハードウェアアクセラレータを実験的に実証した。
論文 参考訳（メタデータ） (2022-07-08T16:37:13Z) - AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。
AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
論文 参考訳（メタデータ） (2022-03-31T16:21:12Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - A Spike in Performance: Training Hybrid-Spiking Neural Networks with
Quantized Activation Functions [6.574517227976925]
Spiking Neural Network(SNN)は、エネルギー効率の高いコンピューティングに対する有望なアプローチである。
我々は、非スパイキングネットワークをSNNに変換する際に、最先端の精度を維持する方法を示す。
論文 参考訳（メタデータ） (2020-02-10T05:24:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。