論文の概要: MindVoice: Reconstructing Intelligible Speech from Non-invasive Neural Signals with Pretrained Priors
- arxiv url: http://arxiv.org/abs/2605.31173v1
- Date: Fri, 29 May 2026 11:38:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.572838
- Title: MindVoice: Reconstructing Intelligible Speech from Non-invasive Neural Signals with Pretrained Priors
- Title（参考訳）: MindVoice: 事前訓練による非侵襲的ニューラルシグナルからのインテリジェント音声の再構築
- Abstract要約: 我々は、事前訓練されたモデルを用いて、ニューラル記録における不完全な意味と音響情報を補うニューラル音声再構成フレームワークであるMindVoiceを紹介した。
MindVoiceは再構成を2つの補完経路に分解する: 1つは高レベルの意味的コンテンツを回復し、もう1つはきめ細かい音響特性を推定する。
これらの結果から、事前訓練された前者は、ノイズの多いニューラル録音と自然な音声のギャップを埋める原則的な方法を提供し、聴覚神経科学研究と非侵襲的な音声脳-コンピュータインターフェースのための有望な試みを浮き彫りにしている。
- 参考スコア（独自算出の注目度）: 32.688206260149386
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reconstructing continuous speech from non-invasive neural recordings is a fundamental problem for probing human auditory perception and building safe, scalable speech brain-computer interfaces. Despite recent progress, intelligible reconstruction remains elusive, as non-invasive recordings are inherently noisy, spatially blurred, and only partially preserve information about perceived speech. Existing methods directly map neural activity to entangled speech representations before synthesizing waveforms with neural vocoders, resulting in spectral-similar but unintelligible results. To overcome these limitations, we introduce MindVoice, a neuro-to-speech reconstruction framework that uses pretrained models to compensate for the incomplete semantic and acoustic information in neural recordings. MindVoice disentangles reconstruction into two complementary pathways: one recovers high-level semantic content, while the other estimates fine-grained acoustic attributes. These inferred representations are then fused with powerful speech generation models and in-context voice cloning to synthesize natural and intelligible utterances. Extensive experiments on EEG and MEG demonstrate that MindVoice substantially outperforms existing methods on various metrics. These results show that pretrained priors provide a principled way to bridge the gap between noisy neural recordings and natural speech, highlighting a promising attempt for auditory neuroscience research and non-invasive speech brain-computer interfaces.
- Abstract（参考訳）: 非侵襲的なニューラル記録から連続音声を再構成することは、人間の聴覚知覚を探索し、安全でスケーラブルな音声脳-コンピュータインターフェースを構築するための根本的な問題である。
近年の進歩にもかかわらず、非侵襲的な録音は本質的にノイズが多く、空間的にぼやけており、知覚された音声に関する情報を部分的に保存しているだけである。
既存の方法は、ニューラルボコーダで波形を合成する前に、絡み合った音声表現に直接神経活動をマッピングする。
これらの制限を克服するために、ニューラル録音における不完全な意味的および音響的情報を補うために事前訓練されたモデルを使用するニューラル音声再構成フレームワークであるMindVoiceを紹介した。
MindVoiceは再構成を2つの補完経路に分解する: 1つは高レベルの意味的コンテンツを回復し、もう1つはきめ細かい音響特性を推定する。
これらの推論された表現は、強力な音声生成モデルとコンテキスト内音声クローンで融合され、自然および不可知な発話を合成する。
EEGとMEGに関する大規模な実験は、MindVoiceが様々なメトリクスで既存のメソッドを大幅に上回っていることを示している。
これらの結果から、事前訓練された前者は、ノイズの多いニューラル録音と自然な音声のギャップを埋める原則的な方法を提供し、聴覚神経科学研究と非侵襲的な音声脳-コンピュータインターフェースのための有望な試みを浮き彫りにしている。
関連論文リスト
- Zero-Shot Imagined Speech Decoding via Imagined-to-Listened MEG Mapping [0.0]
非侵襲的な脳記録から想像された音声を復号することは困難である。
本稿では,音声聴取時に,よりリッチで信頼性の高いラベル付き録音を活用する,想像音声の復号化のための新しい手法を提案する。
論文 参考訳（メタデータ） (2026-05-08T17:56:19Z) - Condition-Invariant fMRI Decoding of Speech Intelligibility with Deep State Space Model [14.428950312699149]
音声の知能性の神経基盤を明らかにすることは、計算神経科学とデジタル音声処理において重要である。
最近のニューロイメージング研究は、知性は単純な音響を超えた皮質活動を調節することを示した。
本稿では,fMRI信号から可視性を復号化するための新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2025-10-21T09:04:09Z) - Towards Unified Neural Decoding of Perceived, Spoken and Imagined Speech from EEG Signals [1.33134751838052]
本研究では,非侵襲的ニューラルネットワーク復号法におけるディープラーニングモデルの有効性について検討した。
それは、知覚、過度、ささやき、想像されたスピーチなど、異なる音声パラダイムの区別に焦点を当てた。
論文 参考訳（メタデータ） (2024-11-14T07:20:08Z) - Decoding speech perception from non-invasive brain recordings [48.46819575538446]
非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。
我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
論文 参考訳（メタデータ） (2022-08-25T10:01:43Z) - End-to-End Binaural Speech Synthesis [71.1869877389535]
本稿では,低ビットレート音声システムと強力なデコーダを組み合わせたエンドツーエンド音声合成システムを提案する。
実感的な聴覚シーンを作るために必要な環境効果を捉える上で, 対人的損失がもたらす効果を実証する。
論文 参考訳（メタデータ） (2022-07-08T05:18:36Z) - Toward a realistic model of speech processing in the brain with
self-supervised learning [67.7130239674153]
生波形で訓練された自己教師型アルゴリズムは有望な候補である。
We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
論文 参考訳（メタデータ） (2022-06-03T17:01:46Z) - Self-supervised models of audio effectively explain human cortical
responses to speech [71.57870452667369]
我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。
これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
論文 参考訳（メタデータ） (2022-05-27T22:04:02Z) - Repeat after me: Self-supervised learning of acoustic-to-articulatory
mapping by vocal imitation [9.416401293559112]
そこで本稿では,限定的な解釈可能な音声パラメータ集合から複雑な音声刺激を再現可能な,事前学習されたニューラル音声合成器を組み合わせた音声生成の計算モデルを提案する。
フォワードモデルと逆モデルの両方は、異なる話者からの生の音響のみの音声データから、自己指導的な方法で共同で訓練される。
模倣シミュレーションは客観的かつ主観的に評価され、非常に奨励的なパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-04-05T15:02:49Z) - Deep Neural Convolutive Matrix Factorization for Articulatory
Representation Decomposition [48.56414496900755]
この研究は、コンボリューティブスパース行列分解のニューラル実装を用いて、調音データを解釈可能なジェスチャーとジェスチャースコアに分解する。
音素認識実験も実施され、ジェスチャースコアが実際に音韻情報のコード化に成功していることが示された。
論文 参考訳（メタデータ） (2022-04-01T14:25:19Z) - Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement
by Re-Synthesis [67.73554826428762]
本稿では,AR/VRにおける高忠実度通信のための新しい音声・視覚音声強調フレームワークを提案する。
提案手法は音声・視覚音声の手がかりを利用してニューラル音声のコードを生成することで,ノイズ信号からクリーンでリアルな音声を効率的に合成する。
論文 参考訳（メタデータ） (2022-03-31T17:57:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。