論文の概要: Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification

• arxiv url: http://arxiv.org/abs/2112.02690v3
• Date: Mon, 8 Jan 2024 02:30:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 23:22:29.988220
• Title: Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification
• Title（参考訳）: オープン語彙脳波-手書き復号とゼロショット知覚分類
• Authors: Zhenhailong Wang, Heng Ji
• Abstract要約: 最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
• 参考スコア（独自算出の注目度）: 78.120927891455
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art brain-to-text systems have achieved great success in decoding language directly from brain signals using neural networks. However, current approaches are limited to small closed vocabularies which are far from enough for natural communication. In addition, most of the high-performing approaches require data from invasive devices (e.g., ECoG). In this paper, we extend the problem to open vocabulary Electroencephalography(EEG)-To-Text Sequence-To-Sequence decoding and zero-shot sentence sentiment classification on natural reading tasks. We hypothesis that the human brain functions as a special text encoder and propose a novel framework leveraging pre-trained language models (e.g., BART). Our model achieves a 40.1% BLEU-1 score on EEG-To-Text decoding and a 55.6% F1 score on zero-shot EEG-based ternary sentiment classification, which significantly outperforms supervised baselines. Furthermore, we show that our proposed model can handle data from various subjects and sources, showing great potential for a high-performance open vocabulary brain-to-text system once sufficient data is available
• Abstract（参考訳）: 最先端の脳テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 しかし、現在のアプローチは、自然なコミュニケーションには程遠い小さな閉語彙に限られている。 さらに、高性能なアプローチのほとんどは、侵入デバイス(例えばECoG)からのデータを必要とする。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 人間の脳は特別なテキストエンコーダとして機能し、事前学習された言語モデル(例えばbart)を活用した新しい枠組みを提案する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る。 さらに,提案モデルでは,様々な主題や情報源からのデータを扱うことが可能であり,十分なデータが得られれば,高性能なオープン語彙型脳テキストシステムの実現可能性を示す。

関連論文リスト

• BrainECHO: Semantic Brain Signal Decoding through Vector-Quantized Spectrogram Reconstruction for Whisper-Enhanced Text Generation [29.78480739360263]
  本稿では,vEctor-quantized speCtrogram を用いた意味脳信号復号法を提案する。 BrainECHOは、1)音声スペクトログラムの自動符号化、2)ブレインオーディオ遅延空間アライメント、3)Whisperファインタニングによるセマンティックテキスト生成を行う。 BrainECHOは、2つの広く受け入れられたリソースで同じデータ分割設定の下で最先端のメソッドより優れている。
  論文  参考訳（メタデータ） (2024-10-19T04:29:03Z)
• Towards Linguistic Neural Representation Learning and Sentence Retrieval from Electroencephalogram Recordings [27.418738450536047]
  脳波信号を文に変換するための2ステップパイプラインを提案する。 まず,自然読解中に記録された脳波データから単語レベルの意味情報を学習できることを確認する。 脳波エンコーダからの予測に基づいて文章を検索するために,学習不要な検索手法を用いる。
  論文  参考訳（メタデータ） (2024-08-08T03:40:25Z)
• MAD: Multi-Alignment MEG-to-Text Decoding [21.155031900491654]
  本稿では,複数のアライメントを持つ音声復号化フレームワークを用いて,MEG信号をテキストに変換する手法を提案する。 我々は、$textitGWilliams$データセットのBLEU-1スコアを著しく達成し、BLEU-1メトリックのベースラインを5.49から10.44に大幅に上回った。
  論文  参考訳（メタデータ） (2024-06-03T16:43:10Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• Deep Representation Learning for Open Vocabulary Electroencephalography-to-Text Decoding [6.014363449216054]
  神経科学に現代的な表現型学習アプローチをもたらす非侵襲的な脳記録のためのエンドツーエンドのディープラーニングフレームワークを提案する。 BLEU-1スコアは42.75%,ROUGE-1-F33.28%,BERTScore-F53.86%で,それぞれ3.38%,8.43%,6.31%であった。
  論文  参考訳（メタデータ） (2023-11-15T08:03:09Z)
• BELT:Bootstrapping Electroencephalography-to-Language Decoding and Zero-Shot Sentiment Classification by Natural Language Supervision [31.382825932199935]
  提案手法は,脳波表現学習をブートストラップする汎用的で効率的なフレームワークである。 意味情報とゼロショットの一般化を理解するための大きなLM能力により、BELTはインターネットスケールのデータセットで訓練された大規模なLMを使用する。 脳から言語への翻訳やゼロショット感情分類を含む2つの特徴ある脳復号タスクについて、最先端の成果を得た。
  論文  参考訳（メタデータ） (2023-09-21T13:24:01Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Lexically Aware Semi-Supervised Learning for OCR Post-Correction [90.54336622024299]
  世界中の多くの言語における既存の言語データの多くは、非デジタル化された書籍や文書に閉じ込められている。 従来の研究は、あまり良くない言語を認識するためのニューラル・ポスト・コレクション法の有用性を実証してきた。 そこで本研究では,生画像を利用した半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:39:02Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。