論文の概要: Neuro2Semantic: A Transfer Learning Framework for Semantic Reconstruction of Continuous Language from Human Intracranial EEG

• arxiv url: http://arxiv.org/abs/2506.00381v1
• Date: Sat, 31 May 2025 04:17:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.872868
• Title: Neuro2Semantic: A Transfer Learning Framework for Semantic Reconstruction of Continuous Language from Human Intracranial EEG
• Title（参考訳）: Neuro2Semantic:ヒト頭蓋内脳波から連続言語を意味的に再構築するための伝達学習フレームワーク
• Authors: Siavash Shams, Richard Antonello, Gavin Mischler, Stephan Bickel, Ashesh Mehta, Nima Mesgarani,
• Abstract要約: 頭蓋内脳波(iEEG)記録から知覚音声の意味内容を再構築する新しい枠組みであるNeuro2Semanticを紹介する。 まず、LSTMベースのアダプタが、トレーニング済みのテキスト埋め込みとニューラルネットワークをアライメントし、次に、修正モジュールがこれらのアライメントされた埋め込みから直接、連続した自然なテキストを生成する。 Neuro2Semanticは、30分以内のニューラルデータで強力なパフォーマンスを達成し、ローデータ設定における最新の最先端メソッドよりも優れています。
• 参考スコア（独自算出の注目度）: 11.531598524209969
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoding continuous language from neural signals remains a significant challenge in the intersection of neuroscience and artificial intelligence. We introduce Neuro2Semantic, a novel framework that reconstructs the semantic content of perceived speech from intracranial EEG (iEEG) recordings. Our approach consists of two phases: first, an LSTM-based adapter aligns neural signals with pre-trained text embeddings; second, a corrector module generates continuous, natural text directly from these aligned embeddings. This flexible method overcomes the limitations of previous decoding approaches and enables unconstrained text generation. Neuro2Semantic achieves strong performance with as little as 30 minutes of neural data, outperforming a recent state-of-the-art method in low-data settings. These results highlight the potential for practical applications in brain-computer interfaces and neural decoding technologies.
• Abstract（参考訳）: ニューラルネットワークから連続言語を復号することは、神経科学と人工知能の交差において重要な課題である。 頭蓋内脳波(iEEG)記録から知覚音声の意味内容を再構築する新しい枠組みであるNeuro2Semanticを紹介する。 まず、LSTMベースのアダプタが、トレーニング済みのテキスト埋め込みとニューラルネットワークをアライメントし、次に、修正モジュールがこれらのアライメントされた埋め込みから直接、連続した自然なテキストを生成する。 この柔軟な方法は、以前の復号化アプローチの限界を克服し、制約のないテキスト生成を可能にする。 Neuro2Semanticは、30分以内のニューラルデータで強力なパフォーマンスを達成し、ローデータ設定における最新の最先端メソッドよりも優れています。 これらの結果は、脳-コンピュータインタフェースとニューラルデコーディング技術における実践的応用の可能性を強調している。

関連論文リスト

• BrainStratify: Coarse-to-Fine Disentanglement of Intracranial Neural Dynamics [8.36470471250669]
  ニューラルアクティビティから直接音声をデコードすることは、脳-コンピュータインターフェース(BCI)研究における中心的な目標である。 近年、脳内野電位記録(SEEG)やECoG(ElectroCorticoGraphy)など、頭蓋内野電位記録(intracranial field potential recordings)の利用により、エキサイティングな進歩がなされている。 i)タスク関連神経信号はsEEG電極に分散し、(ii)タスク関連神経信号をsEEGとECoの両方で絡み合うことが多い。
  論文  参考訳（メタデータ） (2025-05-26T19:36:39Z)
• sEEG-based Encoding for Sentence Retrieval: A Contrastive Learning Approach to Brain-Language Alignment [8.466223794246261]
  本稿では,凍結したCLIPモデルの文埋め込み空間に単射ステレオ脳波信号(sEEG)を投影するコントラスト学習フレームワークであるSSENSEを提案する。 本手法は,自然主義映画視聴データセットから,時系列のsEEGと音声の書き起こしについて評価する。
  論文  参考訳（メタデータ） (2025-04-20T03:01:42Z)
• neuro2voc: Decoding Vocalizations from Neural Activity [3.1913357260723303]
  本研究は,ゼブラフィンチモータ出力の復号化実験手法について検討する。 XGBoostとSHAP分析により,音節分類に不可欠な神経相互作用パターンが明らかにされた。 組み合わせた対照的な学習-VAEフレームワークは、双対神経データからスペクトログラムを生成することに成功した。
  論文  参考訳（メタデータ） (2025-02-02T11:09:31Z)
• Neural Spelling: A Spell-Based BCI System for Language Neural Decoding [25.721498096893427]
  カリキュラムベースのニューラルスペルリングフレームワークを用いた新しい非侵襲的脳波ベースBCIシステムを提案する。 26のアルファベットをすべて認識し、まず手書きに関連するニューラルネットワークをデコードし、次に生成AI(GenAI)を適用してスペルベースのニューラルネットワークデコーディングタスクを強化する。
  論文  参考訳（メタデータ） (2025-01-29T08:57:51Z)
• NeuGPT: Unified multi-modal Neural GPT [48.70587003475798]
  NeuGPTは、ニューラルネットワーク研究の断片化された風景を調和させるために設計された、画期的なマルチモーダル言語生成モデルである。 我々のモデルは主に脳からテキストへのデコーディングに焦点をあて、BLEU-1では6.94から12.92に、ROUGE-1Fでは6.93から13.06に改善した。 また、脳の信号をシミュレートし、新しい神経インターフェースとして機能する。
  論文  参考訳（メタデータ） (2024-10-28T10:53:22Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition [91.39701446828144]
  スパイクニューラルネットワークは, 代理勾配法を用いて, 通常のリカレントニューラルネットワークのように訓練可能であることを示す。 彼らは音声コマンド認識タスクについて有望な結果を示した。 繰り返し発生する非スパイキングとは対照的に、ゲートを使わずに爆発する勾配問題に対して堅牢性を示す。
  論文  参考訳（メタデータ） (2022-12-01T12:36:26Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Deep learning approaches for neural decoding: from CNNs to LSTMs and spikes to fMRI [2.0178765779788495]
  神経信号から直接の行動、知覚、認知状態の復号化は、脳-コンピュータインタフェースの研究に応用されている。 過去10年間で、ディープラーニングは多くの機械学習タスクにおいて最先端の手法になっている。 ディープラーニングは、幅広いタスクにわたるニューラルデコーディングの正確性と柔軟性を改善するための有用なツールであることが示されている。
  論文  参考訳（メタデータ） (2020-05-19T18:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。