論文の概要: Brain-to-Text Decoding: A Non-invasive Approach via Typing

• arxiv url: http://arxiv.org/abs/2502.17480v1
• Date: Tue, 18 Feb 2025 08:36:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 02:21:28.778280
• Title: Brain-to-Text Decoding: A Non-invasive Approach via Typing
• Title（参考訳）: 脳からテキストへのデコード:タイピングによる非侵襲的アプローチ
• Authors: Jarod Lévy, Mingfang Zhang, Svetlana Pinet, Jérémy Rapin, Hubert Banville, Stéphane d'Ascoli, Jean-Rémi King,
• Abstract要約: 脳活動から文の生成を復号する非侵襲的手法を提案する。 脳2Qwertyは、脳波(EEG)または脳磁図(MEG)から文章を復号するために訓練された新しいディープラーニングアーキテクチャである。 MEGでは、Brain2Qwertyは平均して32%のキャラクタエラーレート(CER)に達し、脳波を大幅に上回っている。
• 参考スコア（独自算出の注目度）: 8.664162002581966
• License:
• Abstract: Modern neuroprostheses can now restore communication in patients who have lost the ability to speak or move. However, these invasive devices entail risks inherent to neurosurgery. Here, we introduce a non-invasive method to decode the production of sentences from brain activity and demonstrate its efficacy in a cohort of 35 healthy volunteers. For this, we present Brain2Qwerty, a new deep learning architecture trained to decode sentences from either electro- (EEG) or magneto-encephalography (MEG), while participants typed briefly memorized sentences on a QWERTY keyboard. With MEG, Brain2Qwerty reaches, on average, a character-error-rate (CER) of 32% and substantially outperforms EEG (CER: 67%). For the best participants, the model achieves a CER of 19%, and can perfectly decode a variety of sentences outside of the training set. While error analyses suggest that decoding depends on motor processes, the analysis of typographical errors suggests that it also involves higher-level cognitive factors. Overall, these results narrow the gap between invasive and non-invasive methods and thus open the path for developing safe brain-computer interfaces for non-communicating patients.
• Abstract（参考訳）: 現代のニューロプロテーゼは、会話や移動能力を失った患者のコミュニケーションを回復することができる。 しかし、これらの侵襲的なデバイスは神経外科に固有のリスクを伴っている。 本稿では,脳活動からの文章生成を非侵襲的にデコードし,その効果を健常者35名のコホートで示す方法を提案する。 そこで我々は,脳波(EEG)や脳磁図(MEG)から文章を復号化するための新しいディープラーニングアーキテクチャであるBrain2Qwertyを紹介し,参加者はQWERTYキーボードで短い記憶文を入力した。 MEGでは、Brain2Qwertyは平均して32%の文字エラーレート(CER)に達し、脳波(CER: 67%)を大幅に上回っている。 最高の参加者のために、モデルは19%のCERを達成し、トレーニングセット外のさまざまな文を完全にデコードすることができる。 誤り解析はデコードが運動過程に依存することを示唆するが、タイポグラフィー的誤りの分析は、高いレベルの認知要因も含んでいることを示唆している。 これらの結果は、侵襲的手法と非侵襲的手法のギャップを狭め、非コミュニケーション患者のための安全な脳-コンピュータインターフェースを開発するための道を開く。

関連論文リスト

• On Creating A Brain-To-Text Decoder [6.084958172018792]
  本稿では,ヒト脳活動のデコードに生脳波信号(EEG)を適用した。 この調査は、音声生成に関連する神経信号の解読における脳-コンピュータインタフェース(BCI)の有効性を特に精査している。
  論文  参考訳（メタデータ） (2025-01-10T20:04:54Z)
• BrainBERT: Self-supervised representation learning for intracranial recordings [18.52962864519609]
  我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。 NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。 将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
  論文  参考訳（メタデータ） (2023-02-28T07:40:37Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• An Investigation on Non-Invasive Brain-Computer Interfaces: Emotiv Epoc+ Neuroheadset and Its Effectiveness [0.7734726150561089]
  人間の脳から直接人間の音声を、Facebook Reality Labとカリフォルニア大学サンフランシスコ校が導入したデジタルスクリーンにデコードする。 そこで我々は,脳-機械インタフェース(BMI)アプローチを用いて,ヒト脳を制御するビジョンプロジェクトについて検討した。 我々は、非侵襲的、挿入可能、低コストのBCIアプローチが、身体麻痺の患者だけでなく、脳を理解するための代替手段の焦点となると想定している。
  論文  参考訳（メタデータ） (2022-06-24T05:45:48Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• Deep Recurrent Encoder: A scalable end-to-end network to model brain signals [122.1055193683784]
  複数の被験者の脳応答を一度に予測するために訓練されたエンドツーエンドのディープラーニングアーキテクチャを提案する。 1時間の読解作業で得られた大脳磁図(meg)記録を用いて,このアプローチを検証した。
  論文  参考訳（メタデータ） (2021-03-03T11:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。