Fugu-MT 論文翻訳(概要): Open-vocabulary Auditory Neural Decoding Using fMRI-prompted LLM

論文の概要: Open-vocabulary Auditory Neural Decoding Using fMRI-prompted LLM

arxiv url: http://arxiv.org/abs/2405.07840v1
Date: Mon, 13 May 2024 15:25:11 GMT
ステータス: 処理完了
システム内更新日: 2024-05-14 13:06:14.530880
Title: Open-vocabulary Auditory Neural Decoding Using fMRI-prompted LLM
Title（参考訳）: fMRI-prompted LLMを用いたオープンボキャブラリニューラルデコード
Authors: Xiaoyu Chen, Changde Du, Che Liu, Yizhe Wang, Huiguang He,
Abstract要約: 本稿では,新しい方法である textbfBrain Prompt GPT (BP-GPT) を紹介する。本手法は,fMRIから抽出した脳の表現をプロンプトとして利用することにより,GPT-2を用いてfMRI信号の刺激をテキストに復号することができる。 BP-GPTをオープンソースの聴覚意味的デコードデータセットで評価し、METEORで4.61%、BERTScoreで2.43%の大幅な改善を実現した。
参考スコア（独自算出の注目度）: 19.53589633360839
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Decoding language information from brain signals represents a vital research area within brain-computer interfaces, particularly in the context of deciphering the semantic information from the fMRI signal. However, many existing efforts concentrate on decoding small vocabulary sets, leaving space for the exploration of open vocabulary continuous text decoding. In this paper, we introduce a novel method, the \textbf{Brain Prompt GPT (BP-GPT)}. By using the brain representation that is extracted from the fMRI as a prompt, our method can utilize GPT-2 to decode fMRI signals into stimulus text. Further, we introduce a text-to-text baseline and align the fMRI prompt to the text prompt. By introducing the text-to-text baseline, our BP-GPT can extract a more robust brain prompt and promote the decoding of pre-trained LLM. We evaluate our BP-GPT on the open-source auditory semantic decoding dataset and achieve a significant improvement up to $4.61\%$ on METEOR and $2.43\%$ on BERTScore across all the subjects compared to the state-of-the-art method. The experimental results demonstrate that using brain representation as a prompt to further drive LLM for auditory neural decoding is feasible and effective.
Abstract（参考訳）: 脳信号から言語情報を復号することは、特にfMRI信号から意味情報を解読する文脈において、脳とコンピュータのインタフェースの中で重要な研究領域である。しかし、既存の多くの取り組みは小さな語彙集合の復号に集中しており、オープンな語彙連続的なテキスト復号の探索のための空間を残している。本稿では,新しい手法であるtextbf{Brain Prompt GPT(BP-GPT)を紹介する。本手法は,fMRIから抽出した脳の表現をプロンプトとして利用することにより,GPT-2を用いてfMRI信号を刺激テキストに復号することができる。さらに、テキスト間ベースラインを導入し、fMRIプロンプトをテキストプロンプトにアライメントする。テキストからテキストへのベースラインを導入することで、BP-GPTはより堅牢な脳のプロンプトを抽出し、事前訓練されたLLMのデコードを促進することができる。 BP-GPTをオープンソースの聴覚意味的デコードデータセットで評価し,METEORでは4.61セント,BERTScoreでは2.43セントという大幅な改善を実現した。実験結果から、聴覚神経復号のためのLLMをさらに推進するプロンプトとして、脳表現を用いることは可能であり、効果的であることが示された。

関連論文リスト

BrainECHO: Semantic Brain Signal Decoding through Vector-Quantized Spectrogram Reconstruction for Whisper-Enhanced Text Generation [29.78480739360263]
本稿では,vEctor-quantized speCtrogram を用いた意味脳信号復号法を提案する。 BrainECHOは、1)音声スペクトログラムの自動符号化、2)ブレインオーディオ遅延空間アライメント、3)Whisperファインタニングによるセマンティックテキスト生成を行う。 BrainECHOは、2つの広く受け入れられたリソースで同じデータ分割設定の下で最先端のメソッドより優れている。
論文参考訳（メタデータ） (2024-10-19T04:29:03Z)
A multimodal LLM for the non-invasive decoding of spoken text from brain recordings [0.4187344935012482]
fMRI信号から音声テキストを復号するためのマルチモーダルLLMを提案する。提案アーキテクチャは, (i) 特定のトランスフォーマーから派生したエンコーダ上に構築され, エンコーダに付加された埋め込み層と, 最先端のアテンション機構が組み込まれている。 fMRIと会話信号が同期的に記録される、人間-ロボット相互作用と人間-ロボット相互作用のセットからなるコーパス上で行われたベンチマーク。
論文参考訳（メタデータ） (2024-09-29T14:03:39Z)
MAD: Multi-Alignment MEG-to-Text Decoding [21.155031900491654]
本稿では,複数のアライメントを持つ音声復号化フレームワークを用いて,MEG信号をテキストに変換する手法を提案する。我々は、$textitGWilliams$データセットのBLEU-1スコアを著しく達成し、BLEU-1メトリックのベースラインを5.49から10.44に大幅に上回った。
論文参考訳（メタデータ） (2024-06-03T16:43:10Z)
MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文参考訳（メタデータ） (2024-05-28T00:36:25Z)
How Many Bytes Can You Take Out Of Brain-To-Text Decoding? [45.665946951551746]
脳からテキストへのデコーダのための情報に基づく評価指標を提案する。既存の最先端の連続テキストデコーダを拡張する2つの方法を示す。アルゴリズムのさらなる改良により、実践的な脳からテキストへのデコーダが実現可能であると結論付けている。
論文参考訳（メタデータ） (2024-05-22T22:57:04Z)
Query Augmentation by Decoding Semantics from Brain Signals [61.89860975682576]
本稿では,脳信号からデコードされた意味情報を組み込んでクエリを強化するBrain-Augを提案する。 fMRIデータセットの実験的結果は、Brain-Augが意味的により正確なクエリを生成することを示している。
論文参考訳（メタデータ） (2024-02-24T04:08:51Z)
Chat2Brain: A Method for Mapping Open-Ended Semantic Queries to Brain Activation Maps [59.648646222905235]
そこで本研究では,テキスト2画像モデルであるText2BrainにLLMを組み合わせ,セマンティッククエリを脳活性化マップにマッピングするChat2Brainを提案する。テキストクエリのより複雑なタスクに対して、Chat2Brainが可塑性なニューラルアクティベーションパターンを合成できることを実証した。
論文参考訳（メタデータ） (2023-09-10T13:06:45Z)
UniCoRN: Unified Cognitive Signal ReconstructioN bridging cognitive signals and human language [23.623579364849526]
本稿では,fMRI時系列と人間の言語を橋渡しする最初のオープン語彙課題であるfMRI2textを提案する。我々は、脳復号のためのベースラインソリューションUniCoRN: Unified Cognitive Signal ReconstructioNを提案する。このモデルでは、fMRI2text上で34.77%のBLEUスコアが得られ、EEGto-textデコーディングに一般化すると37.04%のBLEUが得られる。
論文参考訳（メタデータ） (2023-07-06T05:26:49Z)
Probing Brain Context-Sensitivity with Masked-Attention Generation [87.31930367845125]
我々は、GPT-2変換器を用いて、一定量の文脈情報をキャプチャする単語埋め込みを生成する。そして、自然主義的なテキストを聴く人間のfMRI脳活動を予測することができるかどうかを検証した。
論文参考訳（メタデータ） (2023-05-23T09:36:21Z)
Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
論文参考訳（メタデータ） (2021-12-05T21:57:22Z)
Brain2Word: Decoding Brain Activity for Language Generation [14.24200473508597]
対象者からfMRIデータをデコードできるモデルを提案する。この課題に対して,本モデルでは5.22%のTop-1と13.59%のTop-5の精度を実現している。
論文参考訳（メタデータ） (2020-09-10T10:47:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。