論文の概要: NeuroCodec: EEG-Guided Latent-Domain Generative Model for High-Fidelity Target Speaker Extraction

• arxiv url: http://arxiv.org/abs/2610.29815v1
• Date: Wed, 21 Oct 2026 14:38:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.384039
• Title: NeuroCodec: EEG-Guided Latent-Domain Generative Model for High-Fidelity Target Speaker Extraction
• Title（参考訳）: ニューロコーデック:高忠実度ターゲット話者抽出のための脳波誘導潜在ドメイン生成モデル
• Abstract要約: 我々は脳波誘導型TSEフレームワークであるNeuroCodecを紹介した。 我々はNeuroCodecの方が知覚精度が高く、平均スコアは82.24、M3ANetは49.63であることを示した。 我々はNeuroCodecを拡張し、リアルタイム処理に適した因果的ストリーミングの定式化を行い、補聴器の基盤を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Driven by recent advancements in hearing assistive devices, target speaker extraction (TSE) in multi-talker environments has drawn significant attention. To address this, hearing technologies identify attention using neural signals recorded via electroencephalography (EEG) to guide TSE, enabling neuro-steered auditory attention decoding. However, most existing techniques rely on time-frequency masking, which suffers from low fidelity in spectro-temporally overlapping regions and is often restricted to narrowband audio. In contrast, we introduce NeuroCodec, which, to the best of our knowledge, is the first generative EEG-guided TSE framework operating in the latent space of a neural audio codec. Specifically, NeuroCodec models spatial EEG dependencies via graph convolutions and fuses cross-modal EEG and speech representations through attention mechanisms and Mamba-based temporal modeling. We further introduce a six-phase training curriculum that progressively incorporates latent reconstruction, multi-scale spectral, and adversarial objectives to ensure stable, high-fidelity speech generation. Experiments on the public Cocktail Party and KUL datasets show NeuroCodec outperforms baselines, across several perceptual metrics. A listening experiment with 20 participants validated that NeuroCodec offers greater perceptual accuracy, achieving a mean score of 82.24 compared with 49.63 for M3ANet. Additionally, the proposed method is seen to enable 44.1 kHz reconstruction with spectral content extending up to 20 kHz, further supporting the perceptual results. Finally, we extend NeuroCodec with a causal streaming formulation suited for real-time processing, providing a basis for hearing assistive devices.
• Abstract（参考訳）: 近年の補聴器の進歩により、多話者環境におけるターゲット話者抽出(TSE)が注目されている。 これを解決するために、聴覚技術は脳波(EEG)で記録された神経信号を用いて、TSEを誘導し、ニューロステアリングされた聴覚の注意復号を可能にする。 しかし、既存のほとんどの手法は時間周波数マスキングに依存しており、スペクトル時間重重なりの領域では忠実度が低く、狭帯域オーディオに制限されることが多い。 対照的にNeuroCodecは、私たちの知る限り、ニューラルオーディオコーデックの潜時空間で動作する最初の生成脳波誘導型TSEフレームワークである。 具体的には、NeuroCodecはグラフ畳み込みによる空間的脳波依存性をモデル化し、注意機構とマンバに基づく時間的モデリングを通して、モーダルな脳波と音声表現を融合する。 さらに、安定かつ高忠実な音声生成を保証するために、潜時再構成、マルチスケールスペクトル、対向目的を段階的に取り入れた6段階の訓練カリキュラムを導入する。 パブリックなCocktail PartyとKULデータセットの実験は、NeuroCodecがいくつかの知覚的メトリクスでベースラインを上回っていることを示している。 20人の被験者による聴取実験では、NeuroCodecの方が知覚精度が高く、平均スコアは82.24であり、M3ANetは49.63であった。 さらに,提案手法はスペクトルコンテンツを最大20kHzまで拡張した44.1kHzの再構成を可能にし,知覚結果のさらなる支援を行う。 最後に,NeuroCodecをリアルタイム処理に適した因果ストリーミング形式に拡張し,補聴器の基盤を提供する。

関連論文リスト

• CORTEG: Foundation Models Enable Cross-Modality Representation Transfer from Scalp to Intracranial Brain Recordings [6.409806752431095]
  頭蓋内皮質電図(ECoG)は、脳-コンピュータインターフェースのための皮質活動への高信号-雑音アクセスを提供する。 本研究では,ECoG に適応可能な大規模な頭皮-EEG ファンデーションモデル (EEG FMs) について検討する。 我々は、事前訓練されたEEG FMバックボーン、電極対応のKNNSoftFourier空間アダプタ、低周波および高ガンマ活動のためのデュアルストリームトークンーザを組み合わせたクロスモーダル転送フレームワークであるCORTEGを紹介する。
  論文  参考訳（メタデータ） (2026-05-11T10:40:42Z)
• NeuroRVQ: Multi-Scale EEG Tokenization for Generative Large Brainwave Models [66.91449452840318]
  我々は、コードブックベースのトークン化装置を中心としたスケーラブルな大脳波モデル(LBM)であるNeuroRVQを紹介する。 我々のトークンライザは, (i) フル周波数のニューラルスペクトルを捕捉するマルチスケール特徴抽出モジュール, (ii) 高精細符号化のための階層的残留ベクトル量子化(RVQ)コードブック, (iii) 効率的なトレーニングのためのEEG信号位相および振幅認識損失関数を統合する。 実験の結果,NeuroRVQは再建誤差を低くし,様々な下流タスクにおいて既存のLBMよりも優れることがわかった。
  論文  参考訳（メタデータ） (2025-10-15T01:26:52Z)
• Neuromorphic Wireless Split Computing with Resonate-and-Fire Neurons [69.73249913506042]
  本稿では、共振器(RF)ニューロンを用いて時間領域信号を直接処理する無線スプリットコンピューティングアーキテクチャについて検討する。 可変周波数で共鳴することにより、RFニューロンは低スパイク活性を維持しながら時間局在スペクトル特徴を抽出する。 実験の結果,提案したRF-SNNアーキテクチャは従来のLIF-SNNやANNと同等の精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2025-06-24T21:14:59Z)
• BrainStratify: Coarse-to-Fine Disentanglement of Intracranial Neural Dynamics [8.36470471250669]
  ニューラルアクティビティから直接音声をデコードすることは、脳-コンピュータインターフェース(BCI)研究における中心的な目標である。 近年、脳内野電位記録(SEEG)やECoG(ElectroCorticoGraphy)など、頭蓋内野電位記録(intracranial field potential recordings)の利用により、エキサイティングな進歩がなされている。 i)タスク関連神経信号はsEEG電極に分散し、(ii)タスク関連神経信号をsEEGとECoの両方で絡み合うことが多い。
  論文  参考訳（メタデータ） (2025-05-26T19:36:39Z)
• Decoding Phone Pairs from MEG Signals Across Speech Modalities [0.4054486015338004]
  脳磁図信号を用いて、音声生成や知覚タスク中の脳活動から携帯電話を復号する方法について検討した。 その結果,受動聴取や再生モダリティと比較して,音声生成時の復号精度が有意に高かった。
  論文  参考訳（メタデータ） (2025-05-21T10:31:34Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Spiking-LEAF: A Learnable Auditory front-end for Spiking Neural Networks [53.31894108974566]
  Spiking-LEAFは、SNNベースの音声処理用に慎重に設計された学習可能な聴覚フロントエンドである。 キーワードスポッティングと話者識別タスクにおいて、提案したSpking-LEAFは、聴覚フロントエンドのSOTAよりも優れている。
  論文  参考訳（メタデータ） (2023-09-18T04:03:05Z)
• Corticomorphic Hybrid CNN-SNN Architecture for EEG-based Low-footprint Low-latency Auditory Attention Detection [8.549433398954738]
  マルチスピーカー「カクテルパーティー」のシナリオでは、リスナーは興味のある話者に選択的に出席することができる。 ニューラルネットワーク(ANN)を用いた脳波による聴覚的注意検出の最近の動向は,エッジコンピューティングプラットフォームでは実用的ではない。 聴覚野に触発されたハイブリッド畳み込みニューラルネットワーク(CNN-SNN)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-07-13T20:33:39Z)
• Neuro-BERT: Rethinking Masked Autoencoding for Self-supervised Neurological Pretraining [24.641328814546842]
  本稿では、フーリエ領域におけるマスク付き自己エンコーディングに基づく神経信号の自己教師付き事前学習フレームワークであるNeuro-BERTを提案する。 本稿では、入力信号の一部をランダムにマスキングし、欠落した情報を予測するFourier Inversion Prediction (FIP)と呼ばれる新しい事前学習タスクを提案する。 提案手法をいくつかのベンチマークデータセットで評価することにより,Neuro-BERTは下流神経関連タスクを大きなマージンで改善することを示す。
  論文  参考訳（メタデータ） (2022-04-20T16:48:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。