論文の概要: BENDR: using transformers and a contrastive self-supervised learning task to learn from massive amounts of EEG data

• arxiv url: http://arxiv.org/abs/2101.12037v1
• Date: Thu, 28 Jan 2021 14:54:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 11:38:49.051339
• Title: BENDR: using transformers and a contrastive self-supervised learning task to learn from massive amounts of EEG data
• Title（参考訳）: BENDR:大量の脳波データから学ぶためのトランスフォーマーと対照的な自己教師型学習タスク
• Authors: Demetres Kostas, Stephane Aroca-Ouellette, Frank Rudzicz
• Abstract要約: 言語モデリング(LM)の手法とアーキテクチャを脳波モデリング(EM)に適用する方法を検討する。 1つの事前学習モデルが、異なるハードウェアで記録された全く新しい生の脳波シーケンスをモデル化できることがわかった。 このモデルの内部表現とアーキテクチャ全体は、さまざまな下流のBCIおよびEEG分類タスクに微調整することができる。
• 参考スコア（独自算出の注目度）: 15.71234837305808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) used for brain-computer-interface (BCI) classification are commonly expected to learn general features when trained across a variety of contexts, such that these features could be fine-tuned to specific contexts. While some success is found in such an approach, we suggest that this interpretation is limited and an alternative would better leverage the newly (publicly) available massive EEG datasets. We consider how to adapt techniques and architectures used for language modelling (LM), that appear capable of ingesting awesome amounts of data, towards the development of encephalography modelling (EM) with DNNs in the same vein. We specifically adapt an approach effectively used for automatic speech recognition, which similarly (to LMs) uses a self-supervised training objective to learn compressed representations of raw data signals. After adaptation to EEG, we find that a single pre-trained model is capable of modelling completely novel raw EEG sequences recorded with differing hardware, and different subjects performing different tasks. Furthermore, both the internal representations of this model and the entire architecture can be fine-tuned to a variety of downstream BCI and EEG classification tasks, outperforming prior work in more task-specific (sleep stage classification) self-supervision.
• Abstract（参考訳）: 脳-コンピュータ-インタフェース(BCI)分類に使用されるディープニューラルネットワーク(DNN)は、様々なコンテキストでトレーニングされたときに一般的な特徴を学習することが一般的に期待されている。 このようなアプローチではいくつかの成功例があるが、この解釈は限定的であり、新たな(パブリックに)利用可能な大規模なEEGデータセットを活用する方がよいと提案する。 我々は,膨大な量のデータを取り込むことができると思われる言語モデリング(lm)に使用される手法やアーキテクチャを,同一静脈にdnnを組み込んだ脳幹モデリング(em)の開発に適応させる方法について検討する。 同様に(LMに対して)自己教師付き学習目標を用いて生データ信号の圧縮表現を学習する自動音声認識の手法を効果的に適用する。 脳波に適応すると、1つの事前学習されたモデルが、異なるハードウェアで記録された全く新しい生の脳波シーケンスをモデル化し、異なるタスクを実行する。 さらに、このモデルの内部表現とアーキテクチャ全体の表現は、様々な下流のBCIおよびEEG分類タスクに微調整することができ、よりタスク固有の(スリープステージ分類)自己監督において、以前の作業よりも優れています。

関連論文リスト

• Automatic Classification of Sleep Stages from EEG Signals Using Riemannian Metrics and Transformer Networks [6.404789669795639]
  睡眠医学において、被験者の睡眠の進化を評価するには、脳波(EEG)信号の高価な手作業によるスコアが伴うことが多い。 本研究では,Symmetric Definite Positive (SPD) の性質を犠牲にすることなく,学習した信号的特徴をそれらの行列に組み込む新しい方法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T06:49:52Z)
• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Knowledge-guided EEG Representation Learning [27.8095014391814]
  自己教師付き学習は、音声、視覚、および音声のマルチメディア領域において印象的な結果をもたらした。 本稿では,脳波の自己教師型モデルを提案する。 また,脳波信号の慣用性を考慮した知識誘導事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-02-15T01:52:44Z)
• EEGFormer: Towards Transferable and Interpretable Large-Scale EEG Foundation Model [39.363511340878624]
  大規模複合脳波データに基づいて事前学習した脳波基礎モデル,すなわちEEGFormerを提案する。 本モデルの有効性を検証するため,様々な下流タスクにおいて広範囲に評価し,異なる転送条件下での性能を評価する。
  論文  参考訳（メタデータ） (2024-01-11T17:36:24Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Analyzing EEG Data with Machine and Deep Learning: A Benchmark [23.893444154059324]
  本稿では,脳波信号解析に焦点をあて,脳波信号分類のための機械学習と深層学習のベンチマークを文献で初めて行った。 実験では,多層パーセプトロン,畳み込みニューラルネットワーク,長期記憶,ゲートリカレントユニットの4つのモデルを用いた。
  論文  参考訳（メタデータ） (2022-03-18T15:18:55Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Multi-Branch Deep Radial Basis Function Networks for Facial Emotion Recognition [80.35852245488043]
  放射状基底関数(RBF)ユニットによって形成された複数の分岐で拡張されたCNNベースのアーキテクチャを提案する。 RBFユニットは、中間表現を用いて類似のインスタンスで共有される局所パターンをキャプチャする。 提案手法は,提案手法の競争力を高めるためのローカル情報の導入であることを示す。
  論文  参考訳（メタデータ） (2021-09-07T21:05:56Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。