論文の概要: Generalizability Under Sensor Failure: Tokenization + Transformers Enable More Robust Latent Spaces
- arxiv url: http://arxiv.org/abs/2402.18546v3
- Date: Tue, 19 Mar 2024 21:54:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 21:28:43.152721
- Title: Generalizability Under Sensor Failure: Tokenization + Transformers Enable More Robust Latent Spaces
- Title(参考訳): センサ故障時の一般化可能性:Tokenization + Transformerにより、よりロバストな潜在空間が実現
- Authors: Geeling Chau, Yujin An, Ahamed Raffey Iqbal, Soon-Jo Chung, Yisong Yue, Sabera Talukder,
- Abstract要約: 神経科学の主要な目標は、一般化する神経データ表現を発見することである。
最近の研究は、セッションや主題間の一般化に対処し始めているが、センサ障害に対する堅牢性の研究はほとんどない。
まず、多数のセッション、被験者、センサーで脳波データを収集し、2つの時系列モデル(EEGNetとTOTEM)を研究します。
- 参考スコア(独自算出の注目度): 24.52935957415906
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A major goal in neuroscience is to discover neural data representations that generalize. This goal is challenged by variability along recording sessions (e.g. environment), subjects (e.g. varying neural structures), and sensors (e.g. sensor noise), among others. Recent work has begun to address generalization across sessions and subjects, but few study robustness to sensor failure which is highly prevalent in neuroscience experiments. In order to address these generalizability dimensions we first collect our own electroencephalography dataset with numerous sessions, subjects, and sensors, then study two time series models: EEGNet (Lawhern et al., 2018) and TOTEM (Talukder et al., 2024). EEGNet is a widely used convolutional neural network, while TOTEM is a discrete time series tokenizer and transformer model. We find that TOTEM outperforms or matches EEGNet across all generalizability cases. Finally through analysis of TOTEM's latent codebook we observe that tokenization enables generalization.
- Abstract(参考訳): 神経科学の主要な目標は、一般化する神経データ表現を発見することである。
この目標には、記録セッション(eg環境)、被験者(egニューラルネットワーク構造)、センサ(egセンサノイズ)などに沿った変動性がある。
最近の研究は、セッションや主題間の一般化に対処し始めているが、神経科学実験でよく見られるセンサー障害に対する堅牢性の研究はほとんどない。
これらの一般化可能性次元に対処するために、我々はまず多数のセッション、被験者、センサーで独自の脳波データセットを収集し、次にEEGNet(Lawhern et al , 2018)とTOTEM(Talukder et al , 2024)の2つの時系列モデルを研究します。
EEGNetは広く使われている畳み込みニューラルネットワークであり、TOTEMは離散時系列トークンとトランスフォーマーモデルである。
一般化可能なすべてのケースにおいて、TOTEMがEEGNetを上回ったり、マッチすることがわかった。
最後に、TOTEMの潜在コードブックの分析を通して、トークン化が一般化を可能にすることを観察する。
関連論文リスト
- Artificial Neural Networks-based Real-time Classification of ENG Signals for Implanted Nerve Interfaces [7.335832236913667]
そこで我々は,ラットの坐骨神経で測定された脳波(ENG)信号から感覚刺激を抽出するために,4種類の人工ニューラルネットワーク(ANN)を探索した。
データセットの異なるサイズは、リアルタイム分類のための調査されたANNの実現可能性を分析するために考慮される。
以上の結果から,ANNはリアルタイムアプリケーションに適しており,100ドル,200ドル以上の信号ウィンドウに対して90%以上のアキュラシーを達成でき,その処理時間も低く,病的回復に有効であることが示唆された。
論文 参考訳(メタデータ) (2024-03-29T15:23:30Z) - Continuous time recurrent neural networks: overview and application to
forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。
重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文 参考訳(メタデータ) (2023-04-14T09:39:06Z) - When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。
本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。
我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。
本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
論文 参考訳(メタデータ) (2022-12-01T20:15:15Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - EEG-ITNet: An Explainable Inception Temporal Convolutional Network for
Motor Imagery Classification [0.5616884466478884]
我々はEEG-ITNetと呼ばれるエンドツーエンドのディープラーニングアーキテクチャを提案する。
本モデルでは,多チャンネル脳波信号からスペクトル,空間,時間情報を抽出することができる。
EEG-ITNetは、異なるシナリオにおける分類精度を最大5.9%改善する。
論文 参考訳(メタデータ) (2022-04-14T13:18:43Z) - Transformer-based Spatial-Temporal Feature Learning for EEG Decoding [4.8276709243429]
本稿では,主に注意機構に依存する新しい脳波復号法を提案する。
我々はより少ないパラメータで、脳波の多分類化における最先端のレベルに達しました。
脳-コンピュータインタフェース(BCI)の実用性を促進する大きな可能性を秘めている。
論文 参考訳(メタデータ) (2021-06-11T00:48:18Z) - TELESTO: A Graph Neural Network Model for Anomaly Classification in
Cloud Services [77.454688257702]
機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。
1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。
与えられたデータの次元変化に不変な手法を提案する。
論文 参考訳(メタデータ) (2021-02-25T14:24:49Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳(メタデータ) (2020-12-31T18:48:58Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳(メタデータ) (2020-11-12T06:06:33Z) - Evaluating the Apperception Engine [31.071555696874054]
Apperception Engineは教師なし学習システムである。
両者とも感覚系列を説明し、一意条件の集合を満たすシンボリック因果理論を構築している。
将来のセンサーの読み出しを予測したり、以前の読み出しを再現したり、欠落した読み出しに応用することができる。
論文 参考訳(メタデータ) (2020-07-09T11:54:05Z) - ST-MNIST -- The Spiking Tactile MNIST Neuromorphic Dataset [13.270250399169104]
我々は,触覚型ニューロモルフィックセンサアレイに記述した人手による手書き桁を含む,新しいニューロモルフィック・スパイキング・タクティルMNISTデータセットを作成した。
また、既存の人工スパイクとニューラルネットワークモデルを用いて、ST-MNISTデータセットを評価するための最初の取り組みについても述べる。
論文 参考訳(メタデータ) (2020-05-08T23:44:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。