論文の概要: Enhancing EEG-to-Text Decoding through Transferable Representations from
Pre-trained Contrastive EEG-Text Masked Autoencoder
- arxiv url: http://arxiv.org/abs/2402.17433v2
- Date: Wed, 28 Feb 2024 03:34:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 11:49:04.775709
- Title: Enhancing EEG-to-Text Decoding through Transferable Representations from
Pre-trained Contrastive EEG-Text Masked Autoencoder
- Title(参考訳): 事前学習したコントラスト型EEG-Text Masked Autoencoderからの伝達可能な表現によるEEG-to-Textデコーディングの強化
- Authors: Jiaqi Wang, Zhenxi Song, Zhengyu Ma, Xipeng Qiu, Min Zhang, Zhiguo
Zhang
- Abstract要約: コントラスト型脳波テキストマスケード自動エンコーダ(CET-MAE)を提案する。
また、E2T-PTR(Pretrained Transferable Representationsを用いたEEG-to-Text decoding)と呼ばれるフレームワークを開発し、EEGシーケンスからテキストをデコードする。
- 参考スコア(独自算出の注目度): 73.94142233076079
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing natural language from non-invasive electroencephalography
(EEG) holds great promise as a language decoding technology for brain-computer
interfaces (BCIs). However, EEG-based language decoding is still in its nascent
stages, facing several technical issues such as: 1) Absence of a hybrid
strategy that can effectively integrate cross-modality (between EEG and text)
self-learning with intra-modality self-reconstruction of EEG features or
textual sequences; 2) Under-utilization of large language models (LLMs) to
enhance EEG-based language decoding. To address above issues, we propose the
Contrastive EEG-Text Masked Autoencoder (CET-MAE), a novel model that
orchestrates compound self-supervised learning across and within EEG and text
through a dedicated multi-stream encoder. Furthermore, we develop a framework
called E2T-PTR (EEG-to-Text decoding using Pretrained Transferable
Representations), which leverages pre-trained modules alongside the EEG stream
from CET-MAE and further enables an LLM (specifically BART) to decode text from
EEG sequences. Comprehensive experiments conducted on the popular text-evoked
EEG database, ZuCo, demonstrate the superiority of E2T-PTR, which outperforms
the state-of-the-art in ROUGE-1 F1 and BLEU-4 scores by 8.34% and 32.21%,
respectively. These results indicate significant advancements in the field and
underscores the proposed framework's potential to enable more powerful and
widespread BCI applications.
- Abstract(参考訳): 非侵襲的脳波から自然言語を再構築することは、bcis(brain-computer interface)のための言語デコード技術として大きな期待を抱いている。
しかし、EEGベースの言語デコーディングはまだ初期段階にあり、次のような技術的な問題に直面している。
1) 脳波の特徴又はテクストシーケンスのモダリティ内自己構築と(脳波とテキストの間の)相互モダリティを効果的に統合できるハイブリッド戦略の欠如
2) 大規模言語モデル(llms)の過小利用によるeegに基づく言語デコーディングの強化。
以上の課題に対処するため,コントラスト型脳波テキストマスケドオートエンコーダ(CET-MAE)を提案する。
さらに、CET-MAEからのEEGストリームと並行してトレーニング済みのモジュールを活用できるE2T-PTR(Pretrained Transferable Representationsを用いたEEG-to-Text decoding)というフレームワークを開発し、さらにLLM(特にBART)がEEGシーケンスからテキストをデコードできるようにする。
一般的なテキスト誘発脳波データベースであるzucoを用いた包括的な実験により、e2t-ptrはrouge-1 f1とbleu-4のスコアをそれぞれ8.34%、32.21%で上回っている。
これらの結果はこの分野の大きな進歩を示し、より強力で広範なbciアプリケーションを可能にするフレームワークの可能性を強調している。
関連論文リスト
- EEG2Rep: Enhancing Self-supervised EEG Representation Through
Informative Masked Inputs [4.268195376737594]
本稿では,脳波からの自己教師型表現学習のための自己予測手法であるEEG2Repを紹介する。
生の脳波からマスク入力を予測する代わりに、EEG2Repは潜在表現空間におけるマスク入力を予測する。
EEG2Repは、EEGデータに存在する重要な課題に対処するノイズに対して堅牢である。
論文 参考訳(メタデータ) (2024-02-17T05:22:41Z) - CSLP-AE: A Contrastive Split-Latent Permutation Autoencoder Framework
for Zero-Shot Electroencephalography Signal Conversion [49.1574468325115]
脳波分析の鍵となる目的は、基礎となる神経活動(コンテンツ)を抽出し、個体の変動(スタイル)を考慮することである。
近年の音声変換技術の発展に触発されて,脳波変換を直接最適化するCSLP-AEフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-13T22:46:43Z) - BELT:Bootstrapping Electroencephalography-to-Language Decoding and
Zero-Shot Sentiment Classification by Natural Language Supervision [31.382825932199935]
提案手法は,脳波表現学習をブートストラップする汎用的で効率的なフレームワークである。
意味情報とゼロショットの一般化を理解するための大きなLM能力により、BELTはインターネットスケールのデータセットで訓練された大規模なLMを使用する。
脳から言語への翻訳やゼロショット感情分類を含む2つの特徴ある脳復号タスクについて、最先端の成果を得た。
論文 参考訳(メタデータ) (2023-09-21T13:24:01Z) - EEGMatch: Learning with Incomplete Labels for Semi-Supervised EEG-based
Cross-Subject Emotion Recognition [9.778877715427358]
ラベル付き脳波データとラベルなし脳波データの両方を活用する新しい半教師付き学習フレームワーク(EEGMatch)を提案する。
2つのベンチマークデータベース(SEEDとSEED-IV)で大規模な実験を行う。
論文 参考訳(メタデータ) (2023-03-27T12:02:33Z) - Semantic-aware Contrastive Learning for Electroencephalography-to-Text
Generation with Curriculum Learning [28.76185264077582]
脳波対テキスト生成のためのC-SCL(Curriculum Semantic-aware Contrastive Learning Strategy)を提案する。
C-SCLは、意味的に類似したEEG表現をまとめ、異なる表現を分割する。
提案手法は,新しい最先端技術を実現しつつ,3種類の指標にまたがる安定した改善を示す。
論文 参考訳(メタデータ) (2023-01-23T00:54:48Z) - BECTRA: Transducer-based End-to-End ASR with BERT-Enhanced Encoder [43.39035144463951]
本稿では,新しいエンドツーエンド自動音声認識(E2E-ASR)モデルであるBERT-CTC-Transducer(BECTRA)を提案する。
BECTRAは、BERT-CTCをエンコーダとして採用し、ターゲットタスクに適した語彙を用いてASR固有のデコーダを訓練するトランスデューサベースのモデルである。
論文 参考訳(メタデータ) (2022-11-02T00:10:43Z) - 2021 BEETL Competition: Advancing Transfer Learning for Subject
Independence & Heterogenous EEG Data Sets [89.84774119537087]
我々は、診断とBCI(Brain-Computer-Interface)に関する2つの伝達学習課題を設計する。
第1タスクは、患者全体にわたる自動睡眠ステージアノテーションに対処する医療診断に重点を置いている。
タスク2はBrain-Computer Interface (BCI)に集中しており、被験者とデータセットの両方にわたる運動画像のデコードに対処する。
論文 参考訳(メタデータ) (2022-02-14T12:12:20Z) - Improving Mandarin End-to-End Speech Recognition with Word N-gram
Language Model [57.92200214957124]
外部言語モデル(LM)は、エンドツーエンド(E2E)自動音声認識(ASR)システムの音声認識性能を向上させることができる。
単語レベルの格子をオンザフライで構築し,可能なすべての単語列を考慮可能な,新しい復号アルゴリズムを提案する。
提案手法は,N-gram LMやニューラルネットワーク LM など,サブワードレベルのLMを一貫して上回る。
論文 参考訳(メタデータ) (2022-01-06T10:04:56Z) - Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot
Sentiment Classification [78.120927891455]
最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。
本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。
脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
論文 参考訳(メタデータ) (2021-12-05T21:57:22Z) - EEG-Based Brain-Computer Interfaces Are Vulnerable to Backdoor Attacks [68.01125081367428]
近年の研究では、機械学習アルゴリズムは敵攻撃に弱いことが示されている。
本稿では,脳波をベースとしたBCIの毒殺攻撃に狭周期パルスを用いることを提案する。
論文 参考訳(メタデータ) (2020-10-30T20:49:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。