論文の概要: BrainECHO: Semantic Brain Signal Decoding through Vector-Quantized Spectrogram Reconstruction for Whisper-Enhanced Text Generation

• arxiv url: http://arxiv.org/abs/2410.14971v1
• Date: Sat, 19 Oct 2024 04:29:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:27.600929
• Title: BrainECHO: Semantic Brain Signal Decoding through Vector-Quantized Spectrogram Reconstruction for Whisper-Enhanced Text Generation
• Title（参考訳）: BrainECHO:Whisper強化テキスト生成のためのベクトル量子スペクトログラム再構成による意味脳信号復号
• Authors: Jilong Li, Zhenxi Song, Jiaqi Wang, Min Zhang, Zhiguo Zhang,
• Abstract要約: 本稿では,vEctor-quantized speCtrogram を用いた意味脳信号復号法を提案する。 BrainECHOは、1)音声スペクトログラムの自動符号化、2)ブレインオーディオ遅延空間アライメント、3)Whisperファインタニングによるセマンティックテキスト生成を行う。 BrainECHOは、2つの広く受け入れられたリソースで同じデータ分割設定の下で最先端のメソッドより優れている。
• 参考スコア（独自算出の注目度）: 29.78480739360263
• License:
• Abstract: Recent advances in decoding language from brain signals (EEG and MEG) have been significantly driven by pre-trained language models, leading to remarkable progress on publicly available non-invasive EEG/MEG datasets. However, previous works predominantly utilize teacher forcing during text generation, leading to significant performance drops without its use. A fundamental issue is the inability to establish a unified feature space correlating textual data with the corresponding evoked brain signals. Although some recent studies attempt to mitigate this gap using an audio-text pre-trained model, Whisper, which is favored for its signal input modality, they still largely overlook the inherent differences between audio signals and brain signals in directly applying Whisper to decode brain signals. To address these limitations, we propose a new multi-stage strategy for semantic brain signal decoding via vEctor-quantized speCtrogram reconstruction for WHisper-enhanced text generatiOn, termed BrainECHO. Specifically, BrainECHO successively conducts: 1) Discrete autoencoding of the audio spectrogram; 2) Brain-audio latent space alignment; and 3) Semantic text generation via Whisper finetuning. Through this autoencoding--alignment--finetuning process, BrainECHO outperforms state-of-the-art methods under the same data split settings on two widely accepted resources: the EEG dataset (Brennan) and the MEG dataset (GWilliams). The innovation of BrainECHO, coupled with its robustness and superiority at the sentence, session, and subject-independent levels across public datasets, underscores its significance for language-based brain-computer interfaces.
• Abstract（参考訳）: 脳信号(EEGとMEG)から言語を復号する最近の進歩は、事前訓練された言語モデルによって著しく推進され、非侵襲的なEEG/MEGデータセットが公開されている。 しかし、以前の作品では、主にテキスト生成中に教師の強制力を利用しており、使用せずに大幅なパフォーマンス低下を招いた。 基本的な問題は、テキストデータと対応する誘発脳信号に関連する統合された特徴空間を確立することができないことである。 近年の研究では、信号入力のモダリティに好まれるオーディオテキスト事前学習モデルであるWhisperを用いて、このギャップを緩和しようとする研究もあるが、Whisperを直接適用して脳信号の復号を行う際の、音声信号と脳信号の固有の相違を概ね見落としている。 これらの制約に対処するため、我々は、WHisper-enhanced text generatiOn(BrainECHO)のためのvEctor-quantized speCtrogram再構成による意味脳信号復号のための新しい多段階戦略を提案する。 具体的には、BrainECHOが次々に実施する。 1) 音声スペクトログラムの離散自己符号化 2)脳音声潜時空間アライメント,及び 3)Whisperファインタニングによるセマンティックテキスト生成。 この自動エンコーディング-アライメント-ファインタニングプロセスを通じて、BrainECHOは、広く受け入れられている2つのリソースであるEEGデータセット(Brennan)とMEGデータセット(GWilliams)で、同じデータ分割設定の下で最先端のメソッドをパフォーマンスします。 BrainECHOのイノベーションは、文、セッション、公開データセット全体にわたる主観非依存レベルにおける堅牢性と優越性と相まって、言語ベースの脳-コンピュータインターフェースにおけるその重要性を浮き彫りにしている。

関連論文リスト

• A multimodal LLM for the non-invasive decoding of spoken text from brain recordings [0.4187344935012482]
  fMRI信号から音声テキストを復号するためのマルチモーダルLLMを提案する。 提案アーキテクチャは, (i) 特定のトランスフォーマーから派生したエンコーダ上に構築され, エンコーダに付加された埋め込み層と, 最先端のアテンション機構が組み込まれている。 fMRIと会話信号が同期的に記録される、人間-ロボット相互作用と人間-ロボット相互作用のセットからなるコーパス上で行われたベンチマーク。
  論文  参考訳（メタデータ） (2024-09-29T14:03:39Z)
• VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment [101.2489492032816]
  VALL-E Rは、堅牢で効率的なゼロショットテキスト音声合成システムである。 この研究は、失語症に罹患した人々のためのスピーチの作成を含む有意義なプロジェクトに適用される可能性がある。
  論文  参考訳（メタデータ） (2024-06-12T04:09:44Z)
• MAD: Multi-Alignment MEG-to-Text Decoding [21.155031900491654]
  本稿では,複数のアライメントを持つ音声復号化フレームワークを用いて,MEG信号をテキストに変換する手法を提案する。 我々は、$textitGWilliams$データセットのBLEU-1スコアを著しく達成し、BLEU-1メトリックのベースラインを5.49から10.44に大幅に上回った。
  論文  参考訳（メタデータ） (2024-06-03T16:43:10Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• UniCoRN: Unified Cognitive Signal ReconstructioN bridging cognitive signals and human language [23.623579364849526]
  本稿では,fMRI時系列と人間の言語を橋渡しする最初のオープン語彙課題であるfMRI2textを提案する。 我々は、脳復号のためのベースラインソリューションUniCoRN: Unified Cognitive Signal ReconstructioNを提案する。 このモデルでは、fMRI2text上で34.77%のBLEUスコアが得られ、EEGto-textデコーディングに一般化すると37.04%のBLEUが得られる。
  論文  参考訳（メタデータ） (2023-07-06T05:26:49Z)
• Inner speech recognition through electroencephalographic signals [2.578242050187029]
  本研究は、脳波信号から始まる内的音声認識に焦点を当てる。 脳波のテキストへの復号は、限られた数の単語(コマンド)の分類として理解されるべきである。 音声関連BCIは、脳信号からの音声コマンドを通してデバイスを制御する効果的な音声通信戦略を提供する。
  論文  参考訳（メタデータ） (2022-10-11T08:29:12Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Integrating end-to-end neural and clustering-based diarization: Getting the best of both worlds [71.36164750147827]
  クラスタリングに基づくアプローチでは、xベクトルのような話者埋め込みをクラスタリングすることで、話者ラベルを音声領域に割り当てる。 EEND(End-to-end Neural Diarization)は、ニューラルネットワークを使用してダイアリゼーションラベルを直接予測する。 重なり合う音声と、任意の数の話者を含む長い録音のために、単純だが効果的なハイブリッドダイアリゼーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-26T06:33:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。