論文の概要: Deep Representation Learning for Open Vocabulary
Electroencephalography-to-Text Decoding
- arxiv url: http://arxiv.org/abs/2312.09430v1
- Date: Wed, 15 Nov 2023 08:03:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 14:25:15.513368
- Title: Deep Representation Learning for Open Vocabulary
Electroencephalography-to-Text Decoding
- Title（参考訳）: オープン語彙脳波とテキスト復号のための深部表現学習
- Authors: Hamza Amrani, Daniela Micucci, Paolo Napoletano
- Abstract要約: 神経科学に現代的な表現型学習アプローチをもたらす非侵襲的な脳記録のためのエンドツーエンドのディープラーニングフレームワークを提案する。
BLEU-1スコアは42.75%,ROUGE-1-F33.28%,BERTScore-F53.86%で,それぞれ3.38%,8.43%,6.31%であった。
- 参考スコア（独自算出の注目度）: 6.014363449216054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Previous research has demonstrated the potential of using pre-trained
language models for decoding open vocabulary Electroencephalography (EEG)
signals captured through a non-invasive Brain-Computer Interface (BCI).
However, the impact of embedding EEG signals in the context of language models
and the effect of subjectivity, remain unexplored, leading to uncertainty about
the best approach to enhance decoding performance. Additionally, current
evaluation metrics used to assess decoding effectiveness are predominantly
syntactic and do not provide insights into the comprehensibility of the decoded
output for human understanding. We present an end-to-end deep learning
framework for non-invasive brain recordings that brings modern representational
learning approaches to neuroscience. Our proposal introduces the following
innovations: 1) an end-to-end deep learning architecture for open vocabulary
EEG decoding, incorporating a subject-dependent representation learning module
for raw EEG encoding, a BART language model, and a GPT-4 sentence refinement
module; 2) a more comprehensive sentence-level evaluation metric based on the
BERTScore; 3) an ablation study that analyses the contributions of each module
within our proposal, providing valuable insights for future research. We
evaluate our approach on two publicly available datasets, ZuCo v1.0 and v2.0,
comprising EEG recordings of 30 subjects engaged in natural reading tasks. Our
model achieves a BLEU-1 score of 42.75%, a ROUGE-1-F of 33.28%, and a
BERTScore-F of 53.86%, outperforming the previous state-of-the-art methods by
3.38%, 8.43%, and 6.31%, respectively.
- Abstract（参考訳）: 従来の研究は、非侵襲的脳-コンピュータインタフェース(BCI)で捉えたオープンボキャブラリ脳波(EEG)信号を復号するために、事前訓練された言語モデルを使用することの可能性を示した。
しかしながら、言語モデルのコンテキストに脳波信号を埋め込むことによる影響や主観性の影響は未解明のままであり、復号化性能を向上させるための最善のアプローチについて不確実性をもたらす。
さらに、デコードの有効性を評価するために使用される現在の評価指標は、主に構文的であり、人間の理解のためにデコードアウトプットの理解可能性に関する洞察を提供していない。
神経科学に現代的な表現型学習アプローチをもたらす非侵襲的な脳記録のためのエンドツーエンドのディープラーニングフレームワークを提案する。
提案では以下のイノベーションを紹介します。
1)オープン語彙脳波復号のためのエンドツーエンドのディープラーニングアーキテクチャで、生脳波符号化のための主観依存表現学習モジュール、BART言語モデル、GPT-4文洗練モジュールを組み込んだ。
2) bertscoreに基づくより包括的な文レベルの評価指標
3)提案する各モジュールのコントリビューションを分析し,今後の研究に有用な知見を提供するアブレーション研究。
本研究は,自然読解作業に携わる30名の被験者の脳波記録を含む2つの公開データセットであるZuCo v1.0とv2.0に対するアプローチを評価する。
BLEU-1スコアは42.75%,ROUGE-1-F33.28%,BERTScore-F53.86%で,それぞれ3.38%,8.43%,6.31%であった。
関連論文リスト
- Thought2Text: Text Generation from EEG Signal using Large Language Models (LLMs) [4.720913027054481]
本稿では、この目的を達成するために、脳波データを微調整した命令調整大型言語モデル(LLM)を用いたThought2Textを提案する。
画像刺激を伴う6人の被験者を対象に収集したパブリック脳波データセットによる実験により,マルチモーダルLLMの有効性が示された。
このアプローチは、ニューロサイエンスと自然言語処理(NLP)の両方に潜在的に応用可能なポータブルで低コストな「テキストへの思考」技術への大きな進歩を示す。
論文 参考訳（メタデータ） (2024-10-10T00:47:59Z) - Towards Linguistic Neural Representation Learning and Sentence Retrieval from Electroencephalogram Recordings [27.418738450536047]
脳波信号を文に変換するための2ステップパイプラインを提案する。
まず,自然読解中に記録された脳波データから単語レベルの意味情報を学習できることを確認する。
脳波エンコーダからの予測に基づいて文章を検索するために,学習不要な検索手法を用いる。
論文 参考訳（メタデータ） (2024-08-08T03:40:25Z) - Review of Deep Representation Learning Techniques for Brain-Computer Interfaces and Recommendations [0.0]
本稿では,BCI復号のための深層表現学習技術を用いて,論文コレクションから経験的知見を合成する。
81記事のうち,オートエンコーダを用いた31記事の優位性を明らかにした。
これらはいずれも、BCIコミュニティによって拾われる標準基盤モデルに導かれていない。
論文 参考訳（メタデータ） (2024-05-17T14:00:11Z) - Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder [69.7813498468116]
コントラスト型脳波テキストマスケード自動エンコーダ(CET-MAE)を提案する。
また、E2T-PTR(Pretrained Transferable Representationsを用いたEEG-to-Text decoding)と呼ばれるフレームワークを開発し、EEGシーケンスからテキストをデコードする。
論文 参考訳（メタデータ） (2024-02-27T11:45:21Z) - BELT:Bootstrapping Electroencephalography-to-Language Decoding and
Zero-Shot Sentiment Classification by Natural Language Supervision [31.382825932199935]
提案手法は,脳波表現学習をブートストラップする汎用的で効率的なフレームワークである。
意味情報とゼロショットの一般化を理解するための大きなLM能力により、BELTはインターネットスケールのデータセットで訓練された大規模なLMを使用する。
脳から言語への翻訳やゼロショット感情分類を含む2つの特徴ある脳復号タスクについて、最先端の成果を得た。
論文 参考訳（メタデータ） (2023-09-21T13:24:01Z) - Retrieval-based Disentangled Representation Learning with Natural
Language Supervision [61.75109410513864]
本稿では,VDR(Vocabulary Disentangled Retrieval)を提案する。
提案手法では,両エンコーダモデルを用いて語彙空間におけるデータと自然言語の両方を表現する。
論文 参考訳（メタデータ） (2022-12-15T10:20:42Z) - Learning to Decompose Visual Features with Latent Textual Prompts [140.2117637223449]
視覚言語モデルを改善するために,Decomposed Feature Prompting (DeFo)を提案する。
我々の実証研究は、視覚言語モデルを改善する上でDeFoが重要であることを示している。
論文 参考訳（メタデータ） (2022-10-09T15:40:13Z) - Decoding speech perception from non-invasive brain recordings [48.46819575538446]
非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。
我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
論文 参考訳（メタデータ） (2022-08-25T10:01:43Z) - Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot
Sentiment Classification [78.120927891455]
最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。
本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。
脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
論文 参考訳（メタデータ） (2021-12-05T21:57:22Z) - Model-based analysis of brain activity reveals the hierarchy of language
in 305 subjects [82.81964713263483]
言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。
そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
論文 参考訳（メタデータ） (2021-10-12T15:30:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。