論文の概要: Decoding silent reading from non-invasive EEG
- arxiv url: http://arxiv.org/abs/2608.20186v1
- Date: Thu, 20 Aug 2026 15:41:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.628799
- Title: Decoding silent reading from non-invasive EEG
- Title(参考訳): 非侵襲脳波からの無声読解
- Authors: Ingo Marquardt, Anthilia Alchanat, Priyanka Jain,
- Abstract要約: ドライエレクトロド脳波の393ランにわたる濃密にサンプリングされた1人の参加者から記録された24万ワードのオープンボキャブラリ解析を行った。
復号化は偶然よりも確実に行われ、中頻度で稀な単語に拡張され、飽和の兆候のないトレーニングデータボリュームで対数的にスケールされた。
これらの結果から,オープン語彙の単語レベル情報はサイレントリーディング中に脳波から復元可能であり,復号化は飽和ではなくデータ制限であることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Non-invasive decoding of inner speech faces a fundamental data problem: a corpus pairing brain activity with a person's spontaneous inner monologue cannot be collected, and the available proxy paradigms (cued repetitive and retrospectively reported generative inner speech) are slow to acquire, poorly time-locked, and subject compliance is unverifiable. We therefore treat silent reading as a scalable proxy task and ask how much lexical and semantic information a contrastive decoder can extract from it. We report an open-vocabulary analysis of approximately 240,000 word presentations recorded from a single densely-sampled participant across 393 runs (ca. 49 h) of 19-channel dry-electrode EEG. Words from continuous narrative text were presented in rapid serial visual presentation, with typography randomised on every trial to partially decorrelate word identity from low-level visual form. A convolutional EEG encoder, optionally followed by a causal transformer, was trained with a CLIP-style contrastive objective to align short EEG windows with hidden-state embeddings of the presented word taken from a large language model. Decoding, evaluated as word-grouped top-10 retrieval against permutation baselines, was reliably above chance, extended to mid-frequency and rare words, and scaled log-linearly with training-data volume with no sign of saturation. Removing occipital and posterior-temporal electrodes reduced the word-level gain by roughly one third but left context tracking unchanged. Control analyses separate word-level decoding from narrative context tracking and from a non-neural positional prior introduced by the transformer's positional embedding. These results establish that open-vocabulary word-level information is recoverable from EEG during silent reading, and that decoding is data-limited rather than saturated.
- Abstract(参考訳): 内部音声の非侵襲的復号化は、基本的なデータ問題に直面している: コーパス対脳活動と人の自発的な内的モノローグは収集できず、利用可能なプロキシパラダイム(反復的、反復的に報告される生成的内的音声)は、取得が遅く、時間ロックが不十分で、被検体コンプライアンスが検証できない。
そこで我々はサイレントリーディングをスケーラブルなプロキシタスクとして扱い、コントラストデコーダがどの程度の語彙情報や意味情報を抽出できるかを問う。
本研究では,19チャンネルドライエレクトロド脳波の393ラン (49 h) にまたがる1回の密集した参加者から,約24万ワードのプレゼンテーションをオープン語彙で分析した。
連続した物語テキストからの単語は高速な連続的な視覚提示で提示され、タイポグラフィーは各トライアルでランダム化され、低レベルな視覚形式から単語のアイデンティティを部分的に非相関化する。
畳み込み型EEGエンコーダは、任意に因果変換器に続き、CLIPスタイルのコントラストでトレーニングされ、短いEEGウィンドウと大きな言語モデルから抽出された提示された単語の隠れ状態埋め込みを調整した。
置換ベースラインに対して単語グループ化されたトップ10検索として評価された復号化は、確率を確実に上回り、中頻度で稀な単語に拡張され、飽和の兆候のないトレーニングデータボリュームで対数線形にスケールされた。
後頭側電極と後頭側電極の除去は,単語レベルの上昇を約3分の1程度低減した。
制御は、単語レベルのデコーディングを、物語の文脈追跡と、トランスフォーマーの位置埋め込みによって導入された非神経的位置推定から分離する。
これらの結果から,オープン語彙の単語レベル情報はサイレントリーディング中に脳波から復元可能であり,復号化は飽和ではなくデータ制限であることがわかった。
関連論文リスト
- End-to-End Intracortical Speech Decoding from Neural Activity [0.8209843760716958]
そこで本研究では,ALSの参加者の皮質内記録を直接トレーニングした,エンドツーエンドのコンフォーマーベースのニューラルデコーダを提案する。
外部言語モデルがなければ、システムは保持されたバリデーションデータに対して23.80%の文字誤り率(CER)を達成する。
論文 参考訳(メタデータ) (2026-05-23T00:39:59Z) - Decoding the decoder: Contextual sequence-to-sequence modeling for intracortical speech decoding [0.0]
音声脳-コンピュータインタフェースは、皮質内活動から言語出力に変換するデコーダを必要とする。
文脈的シーケンス・ツー・シーケンスの復号化がサブレキシカル・ニューラル・リードアウト、ロバストネス、解釈可能性にどのような影響を及ぼすかはいまだ不明である。
我々は,6v領域の皮質内記録からの音声復号を試みるためのトランスフォーマーに基づくシーケンス・ツー・シーケンス・モデルの評価を行った。
論文 参考訳(メタデータ) (2026-03-10T11:46:14Z) - Neural Decoding of Overt Speech from ECoG Using Vision Transformers and Contrastive Representation Learning [1.58476321728042]
Speech Brain Computer Interfacesは、重度の麻痺を抱える人々に対して、コミュニケーションができない有望なソリューションを提供する。
近年の研究では、表面電図(ECoG)や皮質内記録からの理解不能音声の再構築が実証されている。
本稿では,エンコーダ-デコーダディープニューラルアーキテクチャに基づいて,視覚変換器とコントラスト学習を統合したオフライン音声復号パイプラインを提案する。
論文 参考訳(メタデータ) (2025-12-04T09:47:15Z) - Learning Interpretable Representations Leads to Semantically Faithful EEG-to-Text Generation [52.51005875755718]
我々は脳波からテキストへの復号に焦点をあて、後部崩壊のレンズを通して幻覚の問題に対処する。
脳波とテキスト間の情報容量のミスマッチを認め、デコードタスクをコア意味のセマンティックな要約として再設計する。
パブリックなZuCoデータセットの実験では、GLIMが一貫して、流動的なEEG基底文を生成することが示されている。
論文 参考訳(メタデータ) (2025-05-21T05:29:55Z) - Decoding individual words from non-invasive brain recordings across 723 participants [9.9068852821927]
非侵襲的脳波(EEG)および脳磁図(MEG)信号から個々の単語を復号する新しいディープラーニングパイプラインを導入する。
我々は、英語、フランス語、オランダ語で書かれた500万語に対して、前例のないほど多くの参加者に対して、我々のアプローチを訓練し、評価する。
論文 参考訳(メタデータ) (2024-12-11T15:53:49Z) - Towards Unsupervised Speech Recognition Without Pronunciation Models [57.222729245842054]
本稿では,ペア音声とテキストコーパスを使わずにASRシステムを開発するという課題に取り組む。
音声合成とテキスト・テキスト・マスクによるトークン埋込から教師なし音声認識が実現可能であることを実験的に実証した。
この革新的なモデルは、レキシコンフリー環境下での以前の教師なしASRモデルの性能を上回る。
論文 参考訳(メタデータ) (2024-06-12T16:30:58Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳(メタデータ) (2023-09-27T14:44:10Z) - Decoding speech perception from non-invasive brain recordings [48.46819575538446]
非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。
我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
論文 参考訳(メタデータ) (2022-08-25T10:01:43Z) - Continuous speech separation: dataset and analysis [52.10378896407332]
自然な会話では、音声信号は連続的であり、重複成分と重複成分の両方を含む。
本稿では,連続音声分離アルゴリズムを評価するためのデータセットとプロトコルについて述べる。
論文 参考訳(メタデータ) (2020-01-30T18:01:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。