論文の概要: Decoding individual words from non-invasive brain recordings across 723 participants

• arxiv url: http://arxiv.org/abs/2412.17829v1
• Date: Wed, 11 Dec 2024 15:53:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-29 08:00:05.790699
• Title: Decoding individual words from non-invasive brain recordings across 723 participants
• Title（参考訳）: 723人の非侵襲的脳記録から個々の単語を復号する
• Authors: Stéphane d'Ascoli, Corentin Bel, Jérémy Rapin, Hubert Banville, Yohann Benchetrit, Christophe Pallier, Jean-Rémi King,
• Abstract要約: 非侵襲的脳波(EEG)および脳磁図(MEG)信号から個々の単語を復号する新しいディープラーニングパイプラインを導入する。 我々は、英語、フランス語、オランダ語で書かれた500万語に対して、前例のないほど多くの参加者に対して、我々のアプローチを訓練し、評価する。
• 参考スコア（独自算出の注目度）: 9.9068852821927
• License:
• Abstract: Deep learning has recently enabled the decoding of language from the neural activity of a few participants with electrodes implanted inside their brain. However, reliably decoding words from non-invasive recordings remains an open challenge. To tackle this issue, we introduce a novel deep learning pipeline to decode individual words from non-invasive electro- (EEG) and magneto-encephalography (MEG) signals. We train and evaluate our approach on an unprecedentedly large number of participants (723) exposed to five million words either written or spoken in English, French or Dutch. Our model outperforms existing methods consistently across participants, devices, languages, and tasks, and can decode words absent from the training set. Our analyses highlight the importance of the recording device and experimental protocol: MEG and reading are easier to decode than EEG and listening, respectively, and it is preferable to collect a large amount of data per participant than to repeat stimuli across a large number of participants. Furthermore, decoding performance consistently increases with the amount of (i) data used for training and (ii) data used for averaging during testing. Finally, single-word predictions show that our model effectively relies on word semantics but also captures syntactic and surface properties such as part-of-speech, word length and even individual letters, especially in the reading condition. Overall, our findings delineate the path and remaining challenges towards building non-invasive brain decoders for natural language.
• Abstract（参考訳）: ディープラーニングは、最近、脳に電極を埋め込んだ数人の参加者の神経活動から言語を復号することを可能にする。 しかし、非侵襲的な録音から確実に単語を復号することは未解決の課題である。 この問題に対処するために,非侵襲電気(EEG)および磁気脳波(MEG)信号から個々の単語を復号する新しいディープラーニングパイプラインを導入する。 我々は、英語、フランス語、オランダ語で書かれた500万語に対して、前例のないほど多くの参加者(723)に対して、我々のアプローチを訓練し、評価する。 我々のモデルは、参加者、デバイス、言語、タスクにまたがる既存の手法よりも優れており、トレーニングセットから欠落した単語をデコードすることができる。 脳波と聴取は脳波と聴取よりも復号が容易であり、多数の参加者間で刺激を繰り返すよりも、参加者あたりの大量のデータを収集することが好ましい。 さらに、復号化性能は、その量とともに一貫して増加する。 一 訓練用及び訓練用データ (ii)テスト中に平均化に使用されるデータ。 最後に, 単語のセマンティクスを効果的に活用すると同時に, 音声の合成や, 単語長, 個々の文字, 特に読解条件など表面特性も把握できることを示す。 以上の結果から, 自然言語の非侵襲的脳デコーダ構築への道筋と課題が明らかになった。

関連論文リスト

• On Creating A Brain-To-Text Decoder [6.084958172018792]
  本稿では,ヒト脳活動のデコードに生脳波信号(EEG)を適用した。 この調査は、音声生成に関連する神経信号の解読における脳-コンピュータインタフェース(BCI)の有効性を特に精査している。
  論文  参考訳（メタデータ） (2025-01-10T20:04:54Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages [58.43299730989809]
  本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。 我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。 このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
  論文  参考訳（メタデータ） (2022-05-02T17:59:02Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Deep Recurrent Encoder: A scalable end-to-end network to model brain signals [122.1055193683784]
  複数の被験者の脳応答を一度に予測するために訓練されたエンドツーエンドのディープラーニングアーキテクチャを提案する。 1時間の読解作業で得られた大脳磁図(meg)記録を用いて,このアプローチを検証した。
  論文  参考訳（メタデータ） (2021-03-03T11:39:17Z)
• Decoding EEG Brain Activity for Multi-Modal Natural Language Processing [9.35961671939495]
  自然言語処理タスクを改善するために脳波脳活動データの可能性を体系的に分析する最初の大規模研究を行った。 脳波信号を周波数帯域にフィルタリングすることはブロードバンド信号よりも有益であることがわかった。 単語埋め込みタイプの範囲のために、EEGデータは二分および三分感情の分類を改善し、複数のベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-02-17T09:44:21Z)
• Measuring Memorization Effect in Word-Level Neural Networks Probing [0.9156064716689833]
  そこで,本研究では,学習における目に見える単語と見えない単語の対称選択に基づいて,記憶効果を簡易に測定する手法を提案する。 提案手法は, 探索装置で発生した記憶量の定量化に有効であり, 適切な設定が選択可能であり, 検証結果が信頼性推定値で解釈可能である。
  論文  参考訳（メタデータ） (2020-06-29T14:35:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。