論文の概要: neuro2vec: Masked Fourier Spectrum Prediction for Neurophysiological
Representation Learning
- arxiv url: http://arxiv.org/abs/2204.12440v1
- Date: Wed, 20 Apr 2022 16:48:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-09 00:13:41.294470
- Title: neuro2vec: Masked Fourier Spectrum Prediction for Neurophysiological
Representation Learning
- Title（参考訳）: Neuro2vec: 神経生理学的表現学習のためのマスク付きフーリエスペクトル予測
- Authors: Di Wu, Siyuan Li, Jie Yang, Mohamad Sawan
- Abstract要約: 神経生理学的信号の自己教師付き事前学習のためのフーリエに基づくモデリングフレームワークを初めて提示する。
我々のモデリング手法は、下流の神経生理学的タスクを大きなマージンで改善することを示します。
- 参考スコア（独自算出の注目度）: 17.99757247672905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Extensive data labeling on neurophysiological signals is often prohibitively
expensive or impractical, as it may require particular infrastructure or domain
expertise. To address the appetite for data of deep learning methods, we
present for the first time a Fourier-based modeling framework for
self-supervised pre-training of neurophysiology signals. The intuition behind
our approach is simple: frequency and phase distribution of neurophysiology
signals reveal the underlying neurophysiological activities of the brain and
muscle. Our approach first randomly masks out a portion of the input signal and
then predicts the missing information from either spatiotemporal or the Fourier
domain. Pre-trained models can be potentially used for downstream tasks such as
sleep stage classification using electroencephalogram (EEG) signals and gesture
recognition using electromyography (EMG) signals. Unlike contrastive-based
methods, which strongly rely on carefully hand-crafted augmentations and
siamese structure, our approach works reasonably well with a simple transformer
encoder with no augmentation requirements. By evaluating our method on several
benchmark datasets, including both EEG and EMG, we show that our modeling
approach improves downstream neurophysiological related tasks by a large
margin.
- Abstract（参考訳）: 神経生理学的信号の広範なデータラベリングは、特定のインフラやドメインの専門知識を必要とするため、しばしば高価または非実用的である。
深層学習手法のデータに対する欲求に対処するために,神経生理学的信号の自己教師付き事前学習のためのFourierベースのモデリングフレームワークを初めて提示する。
神経生理学的信号の頻度と位相分布は、脳と筋肉の基盤となる神経生理学的活動を明らかにする。
提案手法は,まず入力信号の一部をランダムにマスキングし,時空間あるいはフーリエ領域から欠落した情報を予測する。
事前訓練されたモデルは、脳波(EEG)信号を用いた睡眠段階分類や、筋電図(EMG)信号を用いたジェスチャー認識などの下流タスクに使用することができる。
厳密な手作り強化とシム構造に強く依存する対照的な手法とは異なり,本手法は,拡張要求のない単純なトランスフォーマーエンコーダで合理的に機能する。
本手法は,脳波と脳波の両方を含むいくつかのベンチマークデータセットで評価することで,下流の神経生理学的タスクを大きなマージンで改善できることを示す。
関連論文リスト
- Machine Learning on Dynamic Functional Connectivity: Promise, Pitfalls, and Interpretations [7.013079422694949]
機能神経画像の深部モデル設計のための実証的ガイドラインの確立を目指す。
fMRIを用いた認知的タスク認識と疾患診断におけるSOTA(State-of-the-arts)のパフォーマンスはどのようなものか?
以上の課題に対処するため,様々な場面で総合的な評価と統計的分析を行った。
論文 参考訳（メタデータ） (2024-09-17T17:24:17Z) - Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Understanding Auditory Evoked Brain Signal via Physics-informed Embedding Network with Multi-Task Transformer [3.261870217889503]
マルチタスク変換器(PEMT-Net)を用いた物理インフォームド・エンベディング・ネットワークという,革新的なマルチタスク学習モデルを提案する。
PEMT-Netは物理インフォームド埋め込みとディープラーニング技術によりデコード性能を向上させる。
特定のデータセットに対する実験は、PEMT-Netがマルチタスクの聴覚信号復号における顕著な性能を示した。
論文 参考訳（メタデータ） (2024-06-04T06:53:32Z) - Deep Learning for real-time neural decoding of grasp [0.0]
本稿では,ニューラルネットワークの復号化のためのDeep Learningに基づく手法を提案する。
提案手法の主な目的は、これまでの神経科学知識に頼ることなく、最先端の復号精度を改善することである。
論文 参考訳（メタデータ） (2023-11-02T08:26:29Z) - Neuromorphic Auditory Perception by Neural Spiketrum [27.871072042280712]
本研究では、時間変化のアナログ信号を効率的なスパイクパターンに変換するために、スパイク時相と呼ばれるニューラルスパイク符号化モデルを導入する。
このモデルは、様々な聴覚知覚タスクにおいて、スパイクニューラルネットワークのトレーニングを容易にする、正確に制御可能なスパイクレートを備えたスパースで効率的な符号化スキームを提供する。
論文 参考訳（メタデータ） (2023-09-11T13:06:19Z) - The Predictive Forward-Forward Algorithm [79.07468367923619]
本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。
我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。
PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
論文 参考訳（メタデータ） (2023-01-04T05:34:48Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳（メタデータ） (2022-01-19T09:26:34Z) - Deep Metric Learning with Locality Sensitive Angular Loss for
Self-Correcting Source Separation of Neural Spiking Signals [77.34726150561087]
本稿では, 深層学習に基づく手法を提案し, 自動掃除とロバスト分離フィルタの必要性に対処する。
本手法は, ソース分離した高密度表面筋電図記録に基づいて, 人工的に劣化したラベルセットを用いて検証する。
このアプローチにより、ニューラルネットワークは、信号のラベル付けの不完全な方法を使用して、神経生理学的時系列を正確に復号することができる。
論文 参考訳（メタデータ） (2021-10-13T21:51:56Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z) - Closed-Loop Neural Interfaces with Embedded Machine Learning [12.977151652608047]
ニューラルネットワークに機械学習を組み込むことの最近の進歩を概観する。
脳インプラントにおける神経信号の低消費電力・メモリ効率分類のための木モデルを提案する。
エネルギー認識学習とモデル圧縮を用いて、提案した斜め木は、発作や震動検出、モータ復号といった応用において、従来の機械学習モデルより優れていることを示す。
論文 参考訳（メタデータ） (2020-10-15T14:34:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。