論文の概要: Decoding Naturalistic Speech from fMRI with Temporal Modeling and Multimodal Alignment

• arxiv url: http://arxiv.org/abs/2610.22049v1
• Date: Thu, 15 Oct 2026 15:17:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.144764
• Title: Decoding Naturalistic Speech from fMRI with Temporal Modeling and Multimodal Alignment
• Title（参考訳）: 時間モデルとマルチモーダルアライメントを用いたfMRIからの自然な音声の復号
• Abstract要約: NOEMAは、fMRI計測の窓をマルチモーダル刺激埋め込みと整合させる時間畳み込みデコーダである。 2つの自然主義的な音声データセットでは、NOEMAはトップ10内の2000の候補の正しいセグメントを42%以上の持たないクエリで検索する。
• 参考スコア（独自算出の注目度）: 21.737535005860266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reconstructing what a person perceives from their brain activity is a stringent test of whether neural recordings carry meaningful information. Naturalistic speech offers a rich testbed for this challenge: it unfolds over multiple timescales, but fMRI's noisy, temporally smeared measurements make this structure hard to recover. We introduce NOEMA, a temporal convolutional decoder that aligns windows of consecutive fMRI measurements with multimodal stimulus embeddings. These embeddings combine complementary text, audio, and speech representations of the same stimulus segment, enabling its retrieval directly from brain activity. On two naturalistic speech datasets, Cephalonauts One and LeBel, NOEMA retrieves the correct segment among 2,000 candidates within the top 10 for more than 42% of held-out queries. This substantially outperforms baseline decoders, an advantage that persists when the candidate pool is extended with thousands of distractors absent from training. Controlled ablations establish the contributions of temporal modeling and complementary stimulus representations.
• Abstract（参考訳）: 脳の活動から知覚されるものを再構築することは、神経記録が意味のある情報を持っているかどうかの厳密なテストである。 自然言語は複数の時間スケールで展開するが、fMRIのノイズ、時間的にスミアリングされた測定により、この構造を回復しにくくする。 NOEMAは、連続するfMRI計測の窓をマルチモーダル刺激埋め込みと整列する時間畳み込みデコーダである。 これらの埋め込みは、同じ刺激セグメントの相補的なテキスト、音声、および音声表現を組み合わせることで、脳の活動から直接の検索を可能にする。 Cephalonauts OneとLeBelの2つの自然言語データセットでは、NOEMAがトップ10内の2000の候補の正しいセグメントを42%以上の保留クエリで検索する。 これはベースラインデコーダを著しく上回り、候補プールが拡張され、トレーニングに欠席した何千ものイントラクタによって持続する利点である。 制御されたアブレーションは、時間的モデリングと補完的な刺激表現の貢献を確立する。

関連論文リスト

• SIREM: Speech-Informed MRI Reconstruction with Learned Sampling [5.140545130871631]
  音声生成のリアルタイム磁気共鳴画像(rtMRI)は、動的声道運動の非侵襲的な可視化を可能にする。 そこで本研究では,SIREMという音声インフォームドMRI再構成フレームワークを提案する。 我々は,USC音声rtMRIベンチマークにおけるSIREMを,グリッド化,ウェーブレットベース圧縮センシング,全変動を含む標準ベースラインに対して評価した。
  論文  参考訳（メタデータ） (2026-05-18T11:05:10Z)
• Multimodal Recurrent Ensembles for Predicting Brain Responses to Naturalistic Movies (Algonauts 2025) [0.0]
  本稿では,事前訓練されたビデオ,音声,言語埋め込みをfMRI時系列にマッピングする階層的マルチモーダル・リカレントアンサンブルを提案する。 トレーニングは複合的なMSE相関損失と、初期の知覚的堅牢性から後期関連領域に徐々に重点を移すカリキュラムに依存している。 このアプローチは、将来のマルチモーダル脳エンコーディングベンチマークのための単純で自然なベースラインを確立する。
  論文  参考訳（メタデータ） (2025-07-23T19:48:27Z)
• Voxel-Level Brain States Prediction Using Swin Transformer [65.9194533414066]
  本稿では, 4D Shifted Window (Swin) Transformer をエンコーダとして用い, 時間的情報を効率よく学習し, 畳み込みデコーダを用いて入力fMRIデータと同じ空間的, 時間的解像度で脳状態の予測を可能にするアーキテクチャを提案する。 前回の23.04s fMRI時系列に基づいて7.2sの安静時脳活動を予測すると,高い精度が得られた。 これは、人間の脳の時間的構造が高解像度でSwin Transformerモデルによって学習できることを示す有望な証拠である。
  論文  参考訳（メタデータ） (2025-06-13T04:14:38Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Learning Personal Representations from fMRIby Predicting Neurofeedback Performance [52.77024349608834]
  機能的MRI(fMRI)によって導かれる自己神経変調タスクを行う個人のための個人表現を学習するためのディープニューラルネットワーク手法を提案する。 この表現は、直近のfMRIフレームが与えられた次のfMRIフレームにおける扁桃体活動を予測する自己教師型リカレントニューラルネットワークによって学習され、学習された個々の表現に条件付けされる。
  論文  参考訳（メタデータ） (2021-12-06T10:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。