論文の概要: RAG-based EEG-to-Text Translation Using Deep Learning and LLMs
- arxiv url: http://arxiv.org/abs/2605.17503v1
- Date: Sun, 17 May 2026 15:31:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:48.121377
- Title: RAG-based EEG-to-Text Translation Using Deep Learning and LLMs
- Title（参考訳）: 深層学習とLLMを用いたRAGを用いた脳波テキスト翻訳
- Authors: Enrico Collautti, Xiaopeng Mao, Luca Tonin, Stefano Tortora, Sadasivan Puthusserypady,
- Abstract要約: 本稿では,検索強化生成(RAG)に基づく文レベルEEG-to-textデコーディングパイプラインを提案する。
Zurich Cognitive Language Processing Corpusデータセットで実験が行われる。
- 参考スコア（独自算出の注目度）: 3.960347374522111
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The decoding of linguistic information from electroencephalography (EEG) signals remains an extremely challenging problem in brain-computer interface (BCI) research. In particular, sentence-level decoding from EEG is difficult due to the low signal-to-noise ratio of these recordings. Previous studies tackling this problem have typically failed to surpass random baseline performance unless teacher forcing is used during the inference phase. In this work, we propose a retrieval-augmented generation (RAG)-based sentence-level EEG-to-text decoding pipeline that combines an EEG encoder aligned with semantic sentence embeddings, a vector retrieval stage, and a large language model (LLM) to refine retrieved sentences into coherent output. Experiments are conducted on the Zurich Cognitive Language Processing Corpus (ZuCo) dataset, which contains single-trial EEG recordings collected during silent reading. To evaluate whether the system extracts meaningful information from these EEG signals, the results are compared with a random baseline. In nine subjects, the proposed pipeline outperforms the random baseline, achieving a mean cosine similarity of 0.181 +- 0.022 compared to 0.139 +- 0.029 for the baseline, corresponding to a relative improvement of 30.45%. Statistical analysis further confirms that this improvement is significant, following a strict evaluation workflow where inference is performed without access to ground-truth labels.
- Abstract（参考訳）: 脳波(EEG)信号からの言語情報の復号は、脳-コンピュータインターフェース(BCI)研究において非常に難しい問題である。
特に、これらの記録の信号対雑音比が低いため、脳波からの文レベルの復号は困難である。
従来の研究では、推論フェーズで教師の強制が使われない限り、ランダムなベースラインのパフォーマンスを上回りませんでした。
本研究では,検索文をコヒーレントな出力に変換するために,意味文の埋め込み,ベクトル検索段階,および大規模言語モデル(LLM)に整合したEEGエンコーダを組み合わせたRAGベースの文レベルEEG-to-textデコードパイプラインを提案する。
Zurich Cognitive Language Processing Corpus (ZuCo)データセットで実験が行われ、サイレントリーディング中に収集された単一の脳波記録が含まれている。
これらの脳波信号から有意な情報を抽出するかどうかを評価するために、ランダムなベースラインと比較する。
9つの被験者において、提案したパイプラインはランダムなベースラインよりも優れており、平均コサイン類似度は0.181+-0.022であり、ベースラインは0.139+-0.029であり、相対的な改善は30.45%である。
統計的解析により、この改善が重要であることが確認される。
関連論文リスト
- Membership Inference Attacks against Large Audio Language Models [50.84901010528239]
大規模音声言語モデル(LALM)のMIA評価について述べる。
テキスト,スペクトル,韻律的特徴に基づくマルチモーダルブラインドベースラインを用いて,一般的な音声データセットがほぼ完璧な列車/テスト分離性を示すことを示す。
以上の結果から, LALM検査の基準基準が確立された。
論文 参考訳（メタデータ） (2026-03-30T12:45:28Z) - Brain-CLIPLM: Decoding Compressed Semantic Representations in EEG for Language Reconstruction [20.162170862752813]
コントラスト学習と文再構成により,脳波からテキストへのデコーディングを意味的アンカー抽出に分解するフレームワークを提案する。
Brain-CLIPLMは、67.55%のトップ5と85.00%のトップ25の文章検索精度を達成し、直接デコードベースラインを著しく上回っている。
脳波からテキストへのデコーディングは、全文を再構築するよりも、圧縮されたセマンティックコンテンツを復元する方がよいことが示唆された。
論文 参考訳（メタデータ） (2026-03-23T11:45:51Z) - Learning Interpretable Representations Leads to Semantically Faithful EEG-to-Text Generation [52.51005875755718]
我々は脳波からテキストへの復号に焦点をあて、後部崩壊のレンズを通して幻覚の問題に対処する。
脳波とテキスト間の情報容量のミスマッチを認め、デコードタスクをコア意味のセマンティックな要約として再設計する。
パブリックなZuCoデータセットの実験では、GLIMが一貫して、流動的なEEG基底文を生成することが示されている。
論文 参考訳（メタデータ） (2025-05-21T05:29:55Z) - Decoding EEG Speech Perception with Transformers and VAE-based Data Augmentation [6.405846203953988]
脳波からのデコード音声は脳-コンピュータインターフェース(BCI)を進展させる可能性がある
EEGベースの音声デコーディングは、ノイズの多いデータ、限られたデータセット、音声認識のような複雑なタスクにおけるパフォーマンスの低下など、大きな課題に直面している。
本研究では,データ品質向上のために,変動型オートエンコーダ(VAE)をEEGデータ拡張に適用することにより,これらの課題に対処する。
論文 参考訳（メタデータ） (2025-01-08T08:55:10Z) - Towards Brain Passage Retrieval -- An Investigation of EEG Query Representations [6.084958172018792]
情報検索システムは、ユーザーの内部情報要求を(テキスト)クエリに変換する能力に依存している。
脳信号から明示的なテキストクエリをデコードしようとする現在のアプローチでは、効果が限られている。
本稿では,中間クエリ変換を必要としない新しいフレームワークであるBPR(Brain Passage Retrieval)を提案する。
論文 参考訳（メタデータ） (2024-12-09T17:41:25Z) - Towards Linguistic Neural Representation Learning and Sentence Retrieval from Electroencephalogram Recordings [27.418738450536047]
脳波信号を文に変換するための2ステップパイプラインを提案する。
まず,自然読解中に記録された脳波データから単語レベルの意味情報を学習できることを確認する。
脳波エンコーダからの予測に基づいて文章を検索するために,学習不要な検索手法を用いる。
論文 参考訳（メタデータ） (2024-08-08T03:40:25Z) - Enhancing Electrocardiogram Signal Analysis Using NLP-Inspired Techniques: A Novel Approach with Embedding and Self-Attention [2.7651063843287718]
埋め込みと自己注意に基づく新しい心電図解析手法を提案し,心電図データの空間的および時間的依存性を捉える。
91%の精度でF1スコアが得られた。
論文 参考訳（メタデータ） (2024-07-15T12:20:15Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳（メタデータ） (2023-09-27T14:44:10Z) - DGSD: Dynamical Graph Self-Distillation for EEG-Based Auditory Spatial
Attention Detection [49.196182908826565]
AAD(Auditory Attention Detection)は、マルチスピーカー環境で脳信号からターゲット話者を検出することを目的としている。
現在のアプローチは主に、画像のようなユークリッドデータを処理するために設計された従来の畳み込みニューラルネットワークに依存している。
本稿では、入力として音声刺激を必要としないAADのための動的グラフ自己蒸留(DGSD)手法を提案する。
論文 参考訳（メタデータ） (2023-09-07T13:43:46Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳（メタデータ） (2021-04-13T17:54:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。