論文の概要: ARNN: Attentive Recurrent Neural Network for Multi-channel EEG Signals
to Identify Epileptic Seizures
- arxiv url: http://arxiv.org/abs/2403.03276v1
- Date: Tue, 5 Mar 2024 19:15:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 17:04:44.729961
- Title: ARNN: Attentive Recurrent Neural Network for Multi-channel EEG Signals
to Identify Epileptic Seizures
- Title(参考訳): ARNN: てんかん発作を識別する多チャンネル脳波信号に対する注意的リカレントニューラルネットワーク
- Authors: Salim Rukhsar and Anil Kumar Tiwari
- Abstract要約: 本稿では,アテンテート・リカレント・ニューラルネットワーク (ARNN) を提案する。
提案モデルは単一チャネル信号ではなく,マルチチャネルEEG信号で動作し,並列計算を利用する。
- 参考スコア(独自算出の注目度): 2.8244056068360095
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We proposed an Attentive Recurrent Neural Network (ARNN), which recurrently
applies attention layers along a sequence and has linear complexity with
respect to the sequence length. The proposed model operates on multi-channel
EEG signals rather than single channel signals and leverages parallel
computation. In this cell, the attention layer is a computational unit that
efficiently applies self-attention and cross-attention mechanisms to compute a
recurrent function over a wide number of state vectors and input signals. Our
architecture is inspired in part by the attention layer and long short-term
memory (LSTM) cells, and it uses long-short style gates, but it scales this
typical cell up by several orders to parallelize for multi-channel EEG signals.
It inherits the advantages of attention layers and LSTM gate while avoiding
their respective drawbacks. We evaluated the model effectiveness through
extensive experiments with heterogeneous datasets, including the CHB-MIT and
UPenn and Mayos Clinic, CHB-MIT datasets. The empirical findings suggest that
the ARNN model outperforms baseline methods such as LSTM, Vision Transformer
(ViT), Compact Convolution Transformer (CCT), and R-Transformer (RT),
showcasing superior performance and faster processing capabilities across a
wide range of tasks. The code has been made publicly accessible at
\url{https://github.com/Salim-Lysiun/ARNN}.
- Abstract(参考訳): 我々は,シーケンスに沿って注意層を繰り返し適用し,シーケンス長に対して線形複雑度を有する注意型リカレントニューラルネットワーク(ARNN)を提案する。
提案モデルは単一チャネル信号ではなくマルチチャネルEEG信号で動作し,並列計算を利用する。
このセルにおいて、アテンション層は、多数の状態ベクトルと入力信号の繰り返し関数を計算するために、自己アテンションと相互アテンションのメカニズムを効率的に適用する計算ユニットである。
我々のアーキテクチャは、注意層と長短メモリ(LSTM)セルにインスパイアされており、長短のゲートを使用しているが、この典型的なセルを複数の順序でスケールアップし、マルチチャネル脳波信号を並列化する。
注意層とLSTMゲートの利点を継承し、それぞれの欠点を回避する。
我々は,CHB-MIT,UPenn,Mayos clinic,CHB-MITといった異種データセットを用いた広範囲な実験により,モデルの有効性を評価した。
実験の結果,ARNNモデルはLSTM,Vision Transformer (ViT),Compact Convolution Transformer (CCT),R-Transformer (RT)といったベースライン手法よりも優れており,幅広いタスクにおいて優れた性能と高速な処理能力を示している。
コードは \url{https://github.com/Salim-Lysiun/ARNN} で公開されている。
関連論文リスト
- Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - Joint Channel Estimation and Feedback with Masked Token Transformers in
Massive MIMO Systems [74.52117784544758]
本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。
エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。
提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
論文 参考訳(メタデータ) (2023-06-08T06:15:17Z) - Online Transformers with Spiking Neurons for Fast Prosthetic Hand
Control [1.6114012813668934]
本稿では,自己注意機構の代わりにスライディングウィンドウアテンション機構を用いる。
この機構は、入力とターゲット間の有限範囲依存性を持つ連続的な信号に対してより効率的であることを示す。
本研究の結果は,スムーズな義手制御のためのsEMG信号の正確かつ高速なオンライン処理を約束するものである。
論文 参考訳(メタデータ) (2023-03-21T13:59:35Z) - Towards Energy-Efficient, Low-Latency and Accurate Spiking LSTMs [1.7969777786551424]
Spiking Neural Networks(SNN)は、複雑なタスクのための魅力的なテンポラルコンピューティングパラダイムビジョンとして登場した。
そこで本研究では,新規な長期記憶ネットワーク(LSTM)の学習フレームワークを提案する。
rev-to-SNN変換フレームワーク、続いてSNNトレーニング。
我々は、時間的M、Google Speech Commands(GSC)データセット、異なるLSTMアーキテクチャ上のUCIスマートフォンなど、逐次学習タスクに関するフレームワークを評価した。
論文 参考訳(メタデータ) (2022-10-23T04:10:27Z) - Image Classification using Sequence of Pixels [3.04585143845864]
本研究では,繰り返しニューラルネットワークを用いた逐次画像分類法の比較を行った。
本稿では,Long-Short-Term memory(LSTM)やBidirectional Long-Short-Term memory(BiLSTM)アーキテクチャに基づく手法について述べる。
論文 参考訳(メタデータ) (2022-09-23T09:42:44Z) - Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。
本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
論文 参考訳(メタデータ) (2022-08-28T17:50:19Z) - Working Memory Connections for LSTM [51.742526187978726]
ワーキングメモリ接続は,様々なタスクにおけるLSTMの性能を常に向上することを示す。
数値的な結果は、細胞状態がゲート構造に含まれる価値のある情報を含んでいることを示唆している。
論文 参考訳(メタデータ) (2021-08-31T18:01:30Z) - Learning to Estimate RIS-Aided mmWave Channels [50.15279409856091]
そこでは,観測観測のために,既知の基地局とRIS位相制御行列を併用したアップリンクチャネル推定手法を提案する。
推定性能を向上し, トレーニングオーバーヘッドを低減するため, 深部展開法において, mmWaveチャネルの固有チャネル幅を生かした。
提案したディープ・アンフォールディング・ネットワーク・アーキテクチャは,トレーニングオーバーヘッドが比較的小さく,オンライン計算の複雑さも比較的小さく,最小二乗法(LS)法より優れていることが確認された。
論文 参考訳(メタデータ) (2021-07-27T06:57:56Z) - "Forget" the Forget Gate: Estimating Anomalies in Videos using
Self-contained Long Short-Term Memory Networks [20.211951213040937]
本稿では,LSTMに基づく新たな自己完結型ネットワークを学習し,ビデオ中の異常を検出する手法を提案する。
忘れゲートを破棄し,シグモイドを活性化させることにより,両ゲート型軽量LSTM細胞を導入する。
取り外しゲートを除去するとLSTMセルが簡素化され、性能効率と計算効率が向上する。
論文 参考訳(メタデータ) (2021-04-03T20:43:49Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - Automatic Remaining Useful Life Estimation Framework with Embedded
Convolutional LSTM as the Backbone [5.927250637620123]
組込み畳み込みLSTM(E NeuralTM)と呼ばれる新しいLSTM変種を提案する。
ETMでは、異なる1次元の畳み込みの群がLSTM構造に埋め込まれている。
RUL推定のために広く用いられているいくつかのベンチマークデータセットに対する最先端のアプローチよりも,提案したEMMアプローチの方が優れていることを示す。
論文 参考訳(メタデータ) (2020-08-10T08:34:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。