論文の概要: Brain2Word: Decoding Brain Activity for Language Generation

• arxiv url: http://arxiv.org/abs/2009.04765v3
• Date: Wed, 11 Nov 2020 08:07:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 03:01:03.646916
• Title: Brain2Word: Decoding Brain Activity for Language Generation
• Title（参考訳）: Brain2Word: 言語生成のための脳活動のデコード
• Authors: Nicolas Affolter, Beni Egressy, Damian Pascual, Roger Wattenhofer
• Abstract要約: 対象者からfMRIデータをデコードできるモデルを提案する。 この課題に対して,本モデルでは5.22%のTop-1と13.59%のTop-5の精度を実現している。
• 参考スコア（独自算出の注目度）: 14.24200473508597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Brain decoding, understood as the process of mapping brain activities to the stimuli that generated them, has been an active research area in the last years. In the case of language stimuli, recent studies have shown that it is possible to decode fMRI scans into an embedding of the word a subject is reading. However, such word embeddings are designed for natural language processing tasks rather than for brain decoding. Therefore, they limit our ability to recover the precise stimulus. In this work, we propose to directly classify an fMRI scan, mapping it to the corresponding word within a fixed vocabulary. Unlike existing work, we evaluate on scans from previously unseen subjects. We argue that this is a more realistic setup and we present a model that can decode fMRI data from unseen subjects. Our model achieves 5.22% Top-1 and 13.59% Top-5 accuracy in this challenging task, significantly outperforming all the considered competitive baselines. Furthermore, we use the decoded words to guide language generation with the GPT-2 model. This way, we advance the quest for a system that translates brain activities into coherent text.
• Abstract（参考訳）: 脳の活動を脳の刺激にマッピングするプロセスとして理解されている脳復号法は、ここ数年、活発な研究領域となっている。 言語刺激の場合、近年の研究では、fMRIスキャンを被験者が読んでいる単語の埋め込みにデコードできることが示されている。 しかし、そのような単語の埋め込みは脳のデコードではなく自然言語処理タスクのために設計されている。 そのため、正確な刺激を回復する能力を制限する。 本研究では,fMRIスキャンを直接分類し,対応する単語を固定語彙内にマッピングする手法を提案する。 既存の研究と異なり、これまで見られなかった被験者のスキャンで評価する。 我々は、これがより現実的な設定であり、未知の被験者からfMRIデータをデコードできるモデルを提案する。 我々のモデルは、この挑戦的なタスクにおいて5.22%のTop-1と13.59%のTop-5の精度を達成する。 さらに,このデコードされた単語を用いて,GPT-2モデルを用いて言語生成を誘導する。 このようにして、脳活動をコヒーレントテキストに変換するシステムの探求を進める。

関連論文リスト

• How Many Bytes Can You Take Out Of Brain-To-Text Decoding? [45.665946951551746]
  脳からテキストへのデコーダのための情報に基づく評価指標を提案する。 既存の最先端の連続テキストデコーダを拡張する2つの方法を示す。 アルゴリズムのさらなる改良により、実践的な脳からテキストへのデコーダが実現可能であると結論付けている。
  論文  参考訳（メタデータ） (2024-05-22T22:57:04Z)
• Language Reconstruction with Brain Predictive Coding from fMRI Data [28.217967547268216]
  予測符号化の理論は、人間の脳が将来的な単語表現を継続的に予測していることを示唆している。 textscPredFTは、BLEU-1スコアが最大27.8%$の最先端のデコード性能を実現する。
  論文  参考訳（メタデータ） (2024-05-19T16:06:02Z)
• MapGuide: A Simple yet Effective Method to Reconstruct Continuous Language from Brain Activities [28.498085040417813]
  そこで本研究では,脳活動からマッピングしたテキスト埋め込みとの比較により,テキスト再構成を誘導する手法を提案する。 その結果, BLEUとMETEORでは平均77%, 54%の改善が見られた。 このような洞察は、将来の作業のために脳の活動から言語を再構築する作業を単純化することができる。
  論文  参考訳（メタデータ） (2024-03-26T09:18:59Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• Chat2Brain: A Method for Mapping Open-Ended Semantic Queries to Brain Activation Maps [59.648646222905235]
  そこで本研究では,テキスト2画像モデルであるText2BrainにLLMを組み合わせ,セマンティッククエリを脳活性化マップにマッピングするChat2Brainを提案する。 テキストクエリのより複雑なタスクに対して、Chat2Brainが可塑性なニューラルアクティベーションパターンを合成できることを実証した。
  論文  参考訳（メタデータ） (2023-09-10T13:06:45Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Neural Language Taskonomy: Which NLP Tasks are the most Predictive of fMRI Brain Activity? [3.186888145772382]
  人気のTransformerベースの言語モデルは、テキスト駆動型ブレインエンコーディングで成功している。 本研究では,10種類の自然言語処理タスクで学習した表現からの伝達学習について検討する。 10のタスク表現にまたがる実験は、以下の認知的洞察を提供する。
  論文  参考訳（メタデータ） (2022-05-03T10:23:08Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。