論文の概要: Optimizing fMRI Data Acquisition for Decoding Natural Speech with Limited Participants

• arxiv url: http://arxiv.org/abs/2505.21304v1
• Date: Tue, 27 May 2025 15:06:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.740401
• Title: Optimizing fMRI Data Acquisition for Decoding Natural Speech with Limited Participants
• Title（参考訳）: 限られた参加者による自然な音声の復号のためのfMRIデータ取得の最適化
• Authors: Louis Jalouzot, Alexis Thual, Yair Lakretz, Christophe Pallier, Bertrand Thirion,
• Abstract要約: 限られた参加者から得られたfMRIデータから知覚された自然音声を復号するための最適戦略を検討する。 まず、fMRI活動からテキスト表現を予測するために、ディープニューラルネットワークのトレーニングの有効性を実証する。 マルチオブジェクトトレーニングは、シングルオブジェクトアプローチと比較してデコード精度を向上しない。
• 参考スコア（独自算出の注目度）: 38.5686683941366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate optimal strategies for decoding perceived natural speech from fMRI data acquired from a limited number of participants. Leveraging Lebel et al. (2023)'s dataset of 8 participants, we first demonstrate the effectiveness of training deep neural networks to predict LLM-derived text representations from fMRI activity. Then, in this data regime, we observe that multi-subject training does not improve decoding accuracy compared to single-subject approach. Furthermore, training on similar or different stimuli across subjects has a negligible effect on decoding accuracy. Finally, we find that our decoders better model syntactic than semantic features, and that stories containing sentences with complex syntax or rich semantic content are more challenging to decode. While our results demonstrate the benefits of having extensive data per participant (deep phenotyping), they suggest that leveraging multi-subject for natural speech decoding likely requires deeper phenotyping or a substantially larger cohort.
• Abstract（参考訳）: 限られた参加者から得られたfMRIデータから知覚された自然音声を復号するための最適戦略を検討する。 8人の参加者からなるLebel et al(2023)のデータセットを活用し、我々はまず深層ニューラルネットワークをトレーニングし、fMRI活動からLLM由来のテキスト表現を予測する効果を実証した。 そして,このデータ体系において,マルチオブジェクトトレーニングは単一オブジェクトアプローチと比較してデコード精度を向上しない。 さらに、被験者間での類似または異なる刺激の訓練は、復号精度に無視的な影響を及ぼす。 最後に、私達のデコーダはセマンティックな特徴よりも構文をモデル化し、複雑な構文やリッチなセマンティックな内容の文を含むストーリーはデコードするのがより困難であることがわかった。 本研究の結果は, 参加者毎の広範なデータ(深部表現型)の利点を示すものであるが, 自然音声の復号化にマルチオブジェクトを活用するには, より深い表現型やより大きなコホートが必要となる可能性が示唆された。

関連論文リスト

• Decoding individual words from non-invasive brain recordings across 723 participants [9.9068852821927]
  非侵襲的脳波(EEG)および脳磁図(MEG)信号から個々の単語を復号する新しいディープラーニングパイプラインを導入する。 我々は、英語、フランス語、オランダ語で書かれた500万語に対して、前例のないほど多くの参加者に対して、我々のアプローチを訓練し、評価する。
  論文  参考訳（メタデータ） (2024-12-11T15:53:49Z)
• A multimodal LLM for the non-invasive decoding of spoken text from brain recordings [0.4187344935012482]
  fMRI信号から音声テキストを復号するためのマルチモーダルLLMを提案する。 提案アーキテクチャは, (i) 特定のトランスフォーマーから派生したエンコーダ上に構築され, エンコーダに付加された埋め込み層と, 最先端のアテンション機構が組み込まれている。 fMRIと会話信号が同期的に記録される、人間-ロボット相互作用と人間-ロボット相互作用のセットからなるコーパス上で行われたベンチマーク。
  論文  参考訳（メタデータ） (2024-09-29T14:03:39Z)
• LLM4Brain: Training a Large Language Model for Brain Video Understanding [9.294352205183726]
  映像刺激によって引き起こされるfMRI信号から視覚的意味情報を再構成するためのLCMに基づく手法を提案する。 我々は、適応器を備えたfMRIエンコーダに微調整技術を用いて、脳の反応を映像刺激に合わせた潜在表現に変換する。 特に,視覚的セマンティック情報と脳反応のアライメントを高めるために,自己教師付きドメイン適応手法を統合する。
  論文  参考訳（メタデータ） (2024-09-26T15:57:08Z)
• Across-subject ensemble-learning alleviates the need for large samples for fMRI decoding [37.41192511246204]
  オブジェクト内デコーディングはオブジェクト間の対応の問題を回避するが、正確な予測を行うにはサンプルサイズが大きい。 本稿では、他の被験者のデータに基づいて訓練された分類器を組み合わせて、新しい被験者の認知状態を復号化するためのアンサンブルアプローチについて検討する。 特にオブジェクトごとのデータに制限のあるデータセットでは,従来の復号法よりも最大20%の精度で性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-09T08:22:44Z)
• CLIP-MUSED: CLIP-Guided Multi-Subject Visual Neural Information Semantic Decoding [14.484475792279671]
  CLIP-Guided Multi-sUbject Visual Neural Information Semantic Decoding (CLIP-MUSED)法を提案する。 提案手法は,グローバルなニューラル表現を効果的にモデル化するトランスフォーマーベースの特徴抽出器から構成される。 また、マルチオブジェクトデータの集約を容易にする学習可能な主題固有のトークンも組み込まれている。
  論文  参考訳（メタデータ） (2024-02-14T07:41:48Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Deep Neural Convolutive Matrix Factorization for Articulatory Representation Decomposition [48.56414496900755]
  この研究は、コンボリューティブスパース行列分解のニューラル実装を用いて、調音データを解釈可能なジェスチャーとジェスチャースコアに分解する。 音素認識実験も実施され、ジェスチャースコアが実際に音韻情報のコード化に成功していることが示された。
  論文  参考訳（メタデータ） (2022-04-01T14:25:19Z)
• Deep Recurrent Encoder: A scalable end-to-end network to model brain signals [122.1055193683784]
  複数の被験者の脳応答を一度に予測するために訓練されたエンドツーエンドのディープラーニングアーキテクチャを提案する。 1時間の読解作業で得られた大脳磁図(meg)記録を用いて,このアプローチを検証した。
  論文  参考訳（メタデータ） (2021-03-03T11:39:17Z)
• Deep Representational Similarity Learning for analyzing neural signatures in task-based fMRI dataset [81.02949933048332]
  本稿では、表現類似度分析(RSA)の深部拡張であるDRSL(Deep Representational similarity Learning)を開発する。 DRSLは、多数の被験者を持つfMRIデータセットにおける様々な認知タスク間の類似性を分析するのに適している。
  論文  参考訳（メタデータ） (2020-09-28T18:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。