論文の概要: BELT-2: Bootstrapping EEG-to-Language representation alignment for multi-task brain decoding
- arxiv url: http://arxiv.org/abs/2409.00121v1
- Date: Wed, 28 Aug 2024 12:30:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-08 14:53:30.154069
- Title: BELT-2: Bootstrapping EEG-to-Language representation alignment for multi-task brain decoding
- Title（参考訳）: BELT-2:マルチタスク脳復号のための脳波-言語表現アライメントのブートストラップ化
- Authors: Jinzhao Zhou, Yiqun Duan, Fred Chang, Thomas Do, Yu-Kai Wang, Chin-Teng Lin,
- Abstract要約: 本稿では,脳波信号からの符号化性能と復号性能の両立を目的としたマルチタスクモデルであるBELT-2を紹介する。
BELT-2は、1)バイトペア符号化(BPE)レベルのEEG言語アライメントを採用し、2)マルチタスクトレーニングとデコーディングをEEGドメインに統合する最初の試みである。
これらの革新的な試みによりBELT-2は先駆的なブレークスルーとなり、非侵襲的な脳信号からコヒーレントで読みやすい文を復号できる分野における最初の作品となった。
- 参考スコア（独自算出の注目度）: 24.54436986074267
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The remarkable success of large language models (LLMs) across various multi-modality applications is well established. However, integrating large language models with humans, or brain dynamics, remains relatively unexplored. In this paper, we introduce BELT-2, a pioneering multi-task model designed to enhance both encoding and decoding performance from EEG signals. To bolster the quality of the EEG encoder, BELT-2 is the first work to innovatively 1) adopt byte-pair encoding (BPE)-level EEG-language alignment and 2) integrate multi-task training and decoding in the EEG domain. Inspired by the idea of \textbf{\textit{Bridging the Brain with GPT}}, we further connect the multi-task EEG encoder with LLMs by utilizing prefix-tuning on intermediary output from the EEG encoder. These innovative efforts make BELT-2 a pioneering breakthrough, making it the first work in the field capable of decoding coherent and readable sentences from non-invasive brain signals. Our experiments highlight significant advancements over prior techniques in both quantitative and qualitative measures, achieving a decoding performance with a BLEU-1 score of 52.2\% on the ZuCo dataset. Furthermore, BELT-2 shows a remarkable improvement ranging from 31\% to 162\% on other translation benchmarks. Codes can be accessed via the provided anonymous link~\footnote{https://anonymous.4open.science/r/BELT-2-0048}.
- Abstract（参考訳）: 大規模言語モデル(LLM)の様々なマルチモーダリティアプリケーションにおける顕著な成功は、十分に確立されている。
しかし、大きな言語モデルと人間、あるいは脳力学を統合することは、いまだに研究されていない。
本稿では,脳波信号からの符号化性能と復号性能の両立を図ったマルチタスクモデルであるBELT-2を紹介する。
EEGエンコーダの品質を高めるため、BELT-2は革新的な最初の作品である
1) バイトペア符号化(BPE)レベルの脳波言語アライメントの導入
2)マルチタスクトレーニングとデコーディングをEEGドメインに統合する。
マルチタスクのEEGエンコーダをLCMに接続し,EEGエンコーダの中間出力のプレフィックスチューニングを利用する。
これらの革新的な試みによりBELT-2は先駆的なブレークスルーとなり、非侵襲的な脳信号からコヒーレントで読みやすい文を復号できる分野における最初の作品となった。
実験では,ZuCoデータセット上でのBLEU-1スコア52.2\%の復号化性能を達成し,定量的および定性的両測定における先行技術よりも顕著な進歩を示した。
さらに、BELT-2は、他の翻訳ベンチマークで31\%から162\%に改善されている。
コードは提供された匿名リンク~\footnote{https://anonymous.4open.science/r/BELT-2-0048}を通じてアクセスすることができる。
関連論文リスト
- Thought2Text: Text Generation from EEG Signal using Large Language Models (LLMs) [4.720913027054481]
本稿では、この目的を達成するために、脳波データを微調整した命令調整大型言語モデル(LLM)を用いたThought2Textを提案する。
画像刺激を伴う6人の被験者を対象に収集したパブリック脳波データセットによる実験により,マルチモーダルLLMの有効性が示された。
このアプローチは、ニューロサイエンスと自然言語処理(NLP)の両方に潜在的に応用可能なポータブルで低コストな「テキストへの思考」技術への大きな進歩を示す。
論文 参考訳（メタデータ） (2024-10-10T00:47:59Z) - SEE: Semantically Aligned EEG-to-Text Translation [5.460650382586978]
神経生理学的信号を言語に復号することは、脳-コンピュータインターフェース(BCI)の応用において非常に興味深い研究である。
現在のEEG-to-Textデコーディングアプローチは、EEGレコードと生テキストの間に大きなドメインギャップがあるため、課題に直面している。
本稿では,脳波からテキストへのデコードを改善するための新しい手法であるセマンティック・アラインドEEG-to-Text Translationを提案する。
論文 参考訳（メタデータ） (2024-09-14T05:37:15Z) - MAD: Multi-Alignment MEG-to-Text Decoding [21.155031900491654]
本稿では,複数のアライメントを持つ音声復号化フレームワークを用いて,MEG信号をテキストに変換する手法を提案する。
我々は、$textitGWilliams$データセットのBLEU-1スコアを著しく達成し、BLEU-1メトリックのベースラインを5.49から10.44に大幅に上回った。
論文 参考訳（メタデータ） (2024-06-03T16:43:10Z) - Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder [69.7813498468116]
コントラスト型脳波テキストマスケード自動エンコーダ(CET-MAE)を提案する。
また、E2T-PTR(Pretrained Transferable Representationsを用いたEEG-to-Text decoding)と呼ばれるフレームワークを開発し、EEGシーケンスからテキストをデコードする。
論文 参考訳（メタデータ） (2024-02-27T11:45:21Z) - BELT:Bootstrapping Electroencephalography-to-Language Decoding and
Zero-Shot Sentiment Classification by Natural Language Supervision [31.382825932199935]
提案手法は,脳波表現学習をブートストラップする汎用的で効率的なフレームワークである。
意味情報とゼロショットの一般化を理解するための大きなLM能力により、BELTはインターネットスケールのデータセットで訓練された大規模なLMを使用する。
脳から言語への翻訳やゼロショット感情分類を含む2つの特徴ある脳復号タスクについて、最先端の成果を得た。
論文 参考訳（メタデータ） (2023-09-21T13:24:01Z) - i-Code V2: An Autoregressive Generation Framework over Vision, Language,
and Speech Data [101.52821120195975]
i-Code V2は、視覚、言語、音声データの組み合わせから自然言語を生成することができる最初のモデルである。
システムは、デュアルモダリティとシングルモダリティのデータセットの大規模なコレクション上で、エンドツーエンドで事前訓練される。
論文 参考訳（メタデータ） (2023-05-21T01:25:44Z) - E2S2: Encoding-Enhanced Sequence-to-Sequence Pretraining for Language
Understanding and Generation [95.49128988683191]
シークエンス・ツー・シークエンス(seq2seq)学習は、大規模事前学習言語モデルにおいて一般的な方法である。
本稿では,エンコーディング強化のseq2seq事前学習戦略,すなわちE2S2を提案する。
E2S2は、より効率的な自己教師付き情報をエンコーダに統合することで、Seq2seqモデルを改善する。
論文 参考訳（メタデータ） (2022-05-30T08:25:36Z) - Improving Mandarin End-to-End Speech Recognition with Word N-gram
Language Model [57.92200214957124]
外部言語モデル(LM)は、エンドツーエンド(E2E)自動音声認識(ASR)システムの音声認識性能を向上させることができる。
単語レベルの格子をオンザフライで構築し,可能なすべての単語列を考慮可能な,新しい復号アルゴリズムを提案する。
提案手法は,N-gram LMやニューラルネットワーク LM など,サブワードレベルのLMを一貫して上回る。
論文 参考訳（メタデータ） (2022-01-06T10:04:56Z) - ESPnet-ST IWSLT 2021 Offline Speech Translation System [56.83606198051871]
本稿では,ESPnet-STグループによる音声翻訳トラックにおけるIWSLT 2021の提出について述べる。
今年は、データ、アーキテクチャ、オーディオセグメンテーションのトレーニングにさまざまな取り組みを行いました。
私たちの最高のE2Eシステムは、すべてのテクニックをモデルアンサンブルと組み合わせ、31.4BLEUを達成しました。
論文 参考訳（メタデータ） (2021-07-01T17:49:43Z) - Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。
各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
論文 参考訳（メタデータ） (2020-01-14T02:05:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。