論文の概要: Generalizability Under Sensor Failure: Tokenization + Transformers Enable More Robust Latent Spaces

• arxiv url: http://arxiv.org/abs/2402.18546v3
• Date: Tue, 19 Mar 2024 21:54:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 21:28:43.152721
• Title: Generalizability Under Sensor Failure: Tokenization + Transformers Enable More Robust Latent Spaces
• Title（参考訳）: センサ故障時の一般化可能性:Tokenization + Transformerにより、よりロバストな潜在空間が実現
• Authors: Geeling Chau, Yujin An, Ahamed Raffey Iqbal, Soon-Jo Chung, Yisong Yue, Sabera Talukder,
• Abstract要約: 神経科学の主要な目標は、一般化する神経データ表現を発見することである。 最近の研究は、セッションや主題間の一般化に対処し始めているが、センサ障害に対する堅牢性の研究はほとんどない。 まず、多数のセッション、被験者、センサーで脳波データを収集し、2つの時系列モデル(EEGNetとTOTEM)を研究します。
• 参考スコア（独自算出の注目度）: 24.52935957415906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A major goal in neuroscience is to discover neural data representations that generalize. This goal is challenged by variability along recording sessions (e.g. environment), subjects (e.g. varying neural structures), and sensors (e.g. sensor noise), among others. Recent work has begun to address generalization across sessions and subjects, but few study robustness to sensor failure which is highly prevalent in neuroscience experiments. In order to address these generalizability dimensions we first collect our own electroencephalography dataset with numerous sessions, subjects, and sensors, then study two time series models: EEGNet (Lawhern et al., 2018) and TOTEM (Talukder et al., 2024). EEGNet is a widely used convolutional neural network, while TOTEM is a discrete time series tokenizer and transformer model. We find that TOTEM outperforms or matches EEGNet across all generalizability cases. Finally through analysis of TOTEM's latent codebook we observe that tokenization enables generalization.
• Abstract（参考訳）: 神経科学の主要な目標は、一般化する神経データ表現を発見することである。 この目標には、記録セッション(eg環境)、被験者(egニューラルネットワーク構造)、センサ(egセンサノイズ)などに沿った変動性がある。 最近の研究は、セッションや主題間の一般化に対処し始めているが、神経科学実験でよく見られるセンサー障害に対する堅牢性の研究はほとんどない。 これらの一般化可能性次元に対処するために、我々はまず多数のセッション、被験者、センサーで独自の脳波データセットを収集し、次にEEGNet(Lawhern et al , 2018)とTOTEM(Talukder et al , 2024)の2つの時系列モデルを研究します。 EEGNetは広く使われている畳み込みニューラルネットワークであり、TOTEMは離散時系列トークンとトランスフォーマーモデルである。 一般化可能なすべてのケースにおいて、TOTEMがEEGNetを上回ったり、マッチすることがわかった。 最後に、TOTEMの潜在コードブックの分析を通して、トークン化が一般化を可能にすることを観察する。

関連論文リスト

• Neural decoding from stereotactic EEG: accounting for electrode variability across subjects [21.28778005847666]
  本稿では,SEEGデータを用いて被験者間の振る舞いを復号化するためのトレーニングフレームワークである seegnificant を紹介する。 本研究では,行動課題を遂行する21人の被験者の複合データに基づいて学習した多目的モデルを構築した。
  論文  参考訳（メタデータ） (2024-11-01T17:58:01Z)
• Scaling Wearable Foundation Models [54.93979158708164]
  センサ基礎モデルのスケーリング特性を計算,データ,モデルサイズにわたって検討する。 最大4000万時間分の心拍数、心拍変動、心電図活動、加速度計、皮膚温度、および1分間のデータを用いて、私たちはLSMを作成します。 この結果から,LSMのスケーリング法則は,時間とセンサの両面において,計算や外挿などのタスクに対して確立されている。
  論文  参考訳（メタデータ） (2024-10-17T15:08:21Z)
• Large Brain Model for Learning Generic Representations with Tremendous EEG Data in BCI [6.926908480247951]
  大型脳モデル(LaBraM)と呼ばれる脳波の統一基盤モデルを提案する。 LaBraMは、EEG信号をEEGチャネルパッチにセグメント化することで、データセット間の学習を可能にする。 次に、マスクされたEEGチャネルパッチの元のニューラルコードを予測することにより、ニューラルトランスフォーマーを事前訓練する。
  論文  参考訳（メタデータ） (2024-05-29T05:08:16Z)
• Artificial Neural Networks-based Real-time Classification of ENG Signals for Implanted Nerve Interfaces [7.335832236913667]
  そこで我々は,ラットの坐骨神経で測定された脳波(ENG)信号から感覚刺激を抽出するために,4種類の人工ニューラルネットワーク(ANN)を探索した。 データセットの異なるサイズは、リアルタイム分類のための調査されたANNの実現可能性を分析するために考慮される。 以上の結果から,ANNはリアルタイムアプリケーションに適しており,100ドル,200ドル以上の信号ウィンドウに対して90%以上のアキュラシーを達成でき,その処理時間も低く,病的回復に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-29T15:23:30Z)
• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• EEG-ITNet: An Explainable Inception Temporal Convolutional Network for Motor Imagery Classification [0.5616884466478884]
  我々はEEG-ITNetと呼ばれるエンドツーエンドのディープラーニングアーキテクチャを提案する。 本モデルでは,多チャンネル脳波信号からスペクトル,空間,時間情報を抽出することができる。 EEG-ITNetは、異なるシナリオにおける分類精度を最大5.9%改善する。
  論文  参考訳（メタデータ） (2022-04-14T13:18:43Z)
• Transformer-based Spatial-Temporal Feature Learning for EEG Decoding [4.8276709243429]
  本稿では,主に注意機構に依存する新しい脳波復号法を提案する。 我々はより少ないパラメータで、脳波の多分類化における最先端のレベルに達しました。 脳-コンピュータインタフェース(BCI)の実用性を促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2021-06-11T00:48:18Z)
• TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services [77.454688257702]
  機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。 1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。 与えられたデータの次元変化に不変な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:24:49Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。