論文の概要: Neuro-BERT: Rethinking Masked Autoencoding for Self-supervised Neurological Pretraining
- arxiv url: http://arxiv.org/abs/2204.12440v2
- Date: Wed, 3 Jul 2024 22:27:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 03:30:47.023292
- Title: Neuro-BERT: Rethinking Masked Autoencoding for Self-supervised Neurological Pretraining
- Title（参考訳）: Neuro-BERT:自己教師型神経前処理のためのマスクオートエンコーディングの再考
- Authors: Di Wu, Siyuan Li, Jie Yang, Mohamad Sawan,
- Abstract要約: 本稿では、フーリエ領域におけるマスク付き自己エンコーディングに基づく神経信号の自己教師付き事前学習フレームワークであるNeuro-BERTを提案する。
本稿では、入力信号の一部をランダムにマスキングし、欠落した情報を予測するFourier Inversion Prediction (FIP)と呼ばれる新しい事前学習タスクを提案する。
提案手法をいくつかのベンチマークデータセットで評価することにより,Neuro-BERTは下流神経関連タスクを大きなマージンで改善することを示す。
- 参考スコア（独自算出の注目度）: 24.641328814546842
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning associated with neurological signals is poised to drive major advancements in diverse fields such as medical diagnostics, neurorehabilitation, and brain-computer interfaces. The challenge in harnessing the full potential of these signals lies in the dependency on extensive, high-quality annotated data, which is often scarce and expensive to acquire, requiring specialized infrastructure and domain expertise. To address the appetite for data in deep learning, we present Neuro-BERT, a self-supervised pre-training framework of neurological signals based on masked autoencoding in the Fourier domain. The intuition behind our approach is simple: frequency and phase distribution of neurological signals can reveal intricate neurological activities. We propose a novel pre-training task dubbed Fourier Inversion Prediction (FIP), which randomly masks out a portion of the input signal and then predicts the missing information using the Fourier inversion theorem. Pre-trained models can be potentially used for various downstream tasks such as sleep stage classification and gesture recognition. Unlike contrastive-based methods, which strongly rely on carefully hand-crafted augmentations and siamese structure, our approach works reasonably well with a simple transformer encoder with no augmentation requirements. By evaluating our method on several benchmark datasets, we show that Neuro-BERT improves downstream neurological-related tasks by a large margin.
- Abstract（参考訳）: 神経信号に関連する深層学習は、医学診断、神経リハビリテーション、脳とコンピュータのインターフェースなど、様々な分野で大きな進歩をもたらす可能性がある。
これらの信号の潜在能力を最大限に活用する上での課題は、広範囲で高品質な注釈付きデータへの依存にある。
深層学習におけるデータへの欲求に対処するために,フーリエ領域におけるマスク付き自己符号化に基づく神経信号の自己教師付き事前学習フレームワークNeuro-BERTを提案する。
我々のアプローチの背景にある直感は単純で、神経学的信号の周波数と位相分布は複雑な神経学的活動を明らかにすることができる。
本稿では、入力信号の一部をランダムにマスキングし、フーリエ反転定理を用いて欠落情報を予測するFIP(Fourier Inversion Prediction)と呼ばれる新しい事前学習タスクを提案する。
事前訓練されたモデルは、睡眠ステージ分類やジェスチャー認識など、さまざまな下流タスクに使用することができる。
厳密な手作りの強化とシム構造に強く依存する対照的な手法とは異なり、我々の手法は、拡張要求のない単純なトランスフォーマーエンコーダと合理的に機能する。
提案手法をいくつかのベンチマークデータセットで評価することにより,Neuro-BERTは下流神経関連タスクを大きなマージンで改善することを示す。
関連論文リスト
- Understanding Auditory Evoked Brain Signal via Physics-informed Embedding Network with Multi-Task Transformer [3.261870217889503]
マルチタスク変換器(PEMT-Net)を用いた物理インフォームド・エンベディング・ネットワークという,革新的なマルチタスク学習モデルを提案する。
PEMT-Netは物理インフォームド埋め込みとディープラーニング技術によりデコード性能を向上させる。
特定のデータセットに対する実験は、PEMT-Netがマルチタスクの聴覚信号復号における顕著な性能を示した。
論文 参考訳（メタデータ） (2024-06-04T06:53:32Z) - Deep Learning for real-time neural decoding of grasp [0.0]
本稿では,ニューラルネットワークの復号化のためのDeep Learningに基づく手法を提案する。
提案手法の主な目的は、これまでの神経科学知識に頼ることなく、最先端の復号精度を改善することである。
論文 参考訳（メタデータ） (2023-11-02T08:26:29Z) - Neuromorphic Auditory Perception by Neural Spiketrum [27.871072042280712]
本研究では、時間変化のアナログ信号を効率的なスパイクパターンに変換するために、スパイク時相と呼ばれるニューラルスパイク符号化モデルを導入する。
このモデルは、様々な聴覚知覚タスクにおいて、スパイクニューラルネットワークのトレーニングを容易にする、正確に制御可能なスパイクレートを備えたスパースで効率的な符号化スキームを提供する。
論文 参考訳（メタデータ） (2023-09-11T13:06:19Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - The Predictive Forward-Forward Algorithm [79.07468367923619]
本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。
我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。
PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
論文 参考訳（メタデータ） (2023-01-04T05:34:48Z) - A Spiking Neural Network based on Neural Manifold for Augmenting
Intracortical Brain-Computer Interface Data [5.039813366558306]
脳-コンピュータインターフェース(BCI)は、脳内の神経信号をインストラクションに変換して外部デバイスを制御する。
高度な機械学習手法の出現により、脳-コンピュータインタフェースの能力はかつてないほど強化された。
ここでは、データジェネレータとしてスパイキングニューラルネットワーク(SNN)を用いる。
論文 参考訳（メタデータ） (2022-03-26T15:32:31Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳（メタデータ） (2022-01-19T09:26:34Z) - Deep Metric Learning with Locality Sensitive Angular Loss for
Self-Correcting Source Separation of Neural Spiking Signals [77.34726150561087]
本稿では, 深層学習に基づく手法を提案し, 自動掃除とロバスト分離フィルタの必要性に対処する。
本手法は, ソース分離した高密度表面筋電図記録に基づいて, 人工的に劣化したラベルセットを用いて検証する。
このアプローチにより、ニューラルネットワークは、信号のラベル付けの不完全な方法を使用して、神経生理学的時系列を正確に復号することができる。
論文 参考訳（メタデータ） (2021-10-13T21:51:56Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z) - Closed-Loop Neural Interfaces with Embedded Machine Learning [12.977151652608047]
ニューラルネットワークに機械学習を組み込むことの最近の進歩を概観する。
脳インプラントにおける神経信号の低消費電力・メモリ効率分類のための木モデルを提案する。
エネルギー認識学習とモデル圧縮を用いて、提案した斜め木は、発作や震動検出、モータ復号といった応用において、従来の機械学習モデルより優れていることを示す。
論文 参考訳（メタデータ） (2020-10-15T14:34:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。