論文の概要: EEG2TEXT: Open Vocabulary EEG-to-Text Decoding with EEG Pre-Training and Multi-View Transformer
- arxiv url: http://arxiv.org/abs/2405.02165v1
- Date: Fri, 3 May 2024 15:14:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-06 12:26:23.824873
- Title: EEG2TEXT: Open Vocabulary EEG-to-Text Decoding with EEG Pre-Training and Multi-View Transformer
- Title（参考訳）: EEG2TEXT:EEG事前訓練とマルチビュー変換を用いたオープン語彙EEG-to-Textデコーディング
- Authors: Hanwen Liu, Daniel Hajialigol, Benny Antony, Aiguo Han, Xuan Wang,
- Abstract要約: 本稿では,脳波からテキストへのデコーディングの精度を向上させる新しい手法を提案する。
EEG2 TEXTUREは、コミュニケーションを容易にするための高性能なオープン語彙脳-テキストシステムの可能性を示している。
- 参考スコア（独自算出の注目度）: 4.863362296028391
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deciphering the intricacies of the human brain has captivated curiosity for centuries. Recent strides in Brain-Computer Interface (BCI) technology, particularly using motor imagery, have restored motor functions such as reaching, grasping, and walking in paralyzed individuals. However, unraveling natural language from brain signals remains a formidable challenge. Electroencephalography (EEG) is a non-invasive technique used to record electrical activity in the brain by placing electrodes on the scalp. Previous studies of EEG-to-text decoding have achieved high accuracy on small closed vocabularies, but still fall short of high accuracy when dealing with large open vocabularies. We propose a novel method, EEG2TEXT, to improve the accuracy of open vocabulary EEG-to-text decoding. Specifically, EEG2TEXT leverages EEG pre-training to enhance the learning of semantics from EEG signals and proposes a multi-view transformer to model the EEG signal processing by different spatial regions of the brain. Experiments show that EEG2TEXT has superior performance, outperforming the state-of-the-art baseline methods by a large margin of up to 5% in absolute BLEU and ROUGE scores. EEG2TEXT shows great potential for a high-performance open-vocabulary brain-to-text system to facilitate communication.
- Abstract（参考訳）: 人間の脳の複雑さの解読は、何世紀にもわたって好奇心をつかんだ。
脳-コンピュータインタフェース(BCI)技術の最近の進歩、特に運動画像を用いて、麻痺した個体の到達、把握、歩行などの運動機能を回復させた。
しかし、脳の信号から自然言語を解き放つことは、依然として恐ろしい課題だ。
脳波検査(Electroencephalography、EEG)は、頭皮に電極を置くことで脳内の電気活動を記録する非侵襲的手法である。
脳波からテキストへのデコードに関するこれまでの研究は、小さな閉じた語彙では高い精度を達成しているが、大きなオープンな語彙を扱う場合、依然として高い精度には達していない。
オープン語彙EEG-to-textデコーディングの精度を向上させるための新しい手法であるEEG2TEXTを提案する。
具体的には、脳波事前学習を活用して、脳波信号からのセマンティクスの学習を強化するとともに、脳波信号処理を脳の異なる空間領域でモデル化するマルチビュートランスフォーマーを提案する。
実験により、EEG2TEXTは優れた性能を示し、絶対BLEUおよびROUGEスコアにおいて、最先端のベースライン法よりも最大5%高いマージンを達成できた。
EEG2TEXTは、コミュニケーションを容易にするための高性能なオープン語彙脳-テキストシステムの可能性を示している。
関連論文リスト
- BrainECHO: Semantic Brain Signal Decoding through Vector-Quantized Spectrogram Reconstruction for Whisper-Enhanced Text Generation [29.78480739360263]
本稿では,vEctor-quantized speCtrogram を用いた意味脳信号復号法を提案する。
BrainECHOは、1)音声スペクトログラムの自動符号化、2)ブレインオーディオ遅延空間アライメント、3)Whisperファインタニングによるセマンティックテキスト生成を行う。
BrainECHOは、2つの広く受け入れられたリソースで同じデータ分割設定の下で最先端のメソッドより優れている。
論文 参考訳（メタデータ） (2024-10-19T04:29:03Z) - SEE: Semantically Aligned EEG-to-Text Translation [5.460650382586978]
神経生理学的信号を言語に復号することは、脳-コンピュータインターフェース(BCI)の応用において非常に興味深い研究である。
現在のEEG-to-Textデコーディングアプローチは、EEGレコードと生テキストの間に大きなドメインギャップがあるため、課題に直面している。
本稿では,脳波からテキストへのデコードを改善するための新しい手法であるセマンティック・アラインドEEG-to-Text Translationを提案する。
論文 参考訳（メタデータ） (2024-09-14T05:37:15Z) - Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder [69.7813498468116]
コントラスト型脳波テキストマスケード自動エンコーダ(CET-MAE)を提案する。
また、E2T-PTR(Pretrained Transferable Representationsを用いたEEG-to-Text decoding)と呼ばれるフレームワークを開発し、EEGシーケンスからテキストをデコードする。
論文 参考訳（メタデータ） (2024-02-27T11:45:21Z) - A Knowledge-Driven Cross-view Contrastive Learning for EEG
Representation [48.85731427874065]
本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。
KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。
ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
論文 参考訳（メタデータ） (2023-09-21T08:53:51Z) - Task-oriented Self-supervised Learning for Anomaly Detection in
Electroencephalography [51.45515911920534]
タスク指向型自己教師型学習手法を提案する。
大きなカーネルを持つ特定の2つの分岐畳み込みニューラルネットワークを特徴抽出器として設計する。
効果的に設計され、訓練された特徴抽出器は、より優れた特徴表現を脳波から抽出できることが示されている。
論文 参考訳（メタデータ） (2022-07-04T13:15:08Z) - Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot
Sentiment Classification [78.120927891455]
最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。
本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。
脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
論文 参考訳（メタデータ） (2021-12-05T21:57:22Z) - Decoding EEG Brain Activity for Multi-Modal Natural Language Processing [9.35961671939495]
自然言語処理タスクを改善するために脳波脳活動データの可能性を体系的に分析する最初の大規模研究を行った。
脳波信号を周波数帯域にフィルタリングすることはブロードバンド信号よりも有益であることがわかった。
単語埋め込みタイプの範囲のために、EEGデータは二分および三分感情の分類を改善し、複数のベースラインを上回ります。
論文 参考訳（メタデータ） (2021-02-17T09:44:21Z) - A Novel Transferability Attention Neural Network Model for EEG Emotion
Recognition [51.203579838210885]
脳波感情認識のための伝達型注目ニューラルネットワーク(TANN)を提案する。
TANNは、伝達可能な脳波領域のデータとサンプルを適応的に強調することにより、感情的な識別情報を学習する。
これは、複数の脳領域レベル判別器と1つのサンプルレベル判別器の出力を測定することで実現できる。
論文 参考訳（メタデータ） (2020-09-21T02:42:30Z) - EEG-based Brain-Computer Interfaces (BCIs): A Survey of Recent Studies
on Signal Sensing Technologies and Computational Intelligence Approaches and
their Applications [65.32004302942218]
Brain-Computer Interface (BCI) はユーザとシステム間の強力なコミュニケーションツールである。
近年の技術進歩は、脳波(EEG)に基づく翻訳医療用BCIへの関心が高まっている。
論文 参考訳（メタデータ） (2020-01-28T10:36:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。