論文の概要: Deep Neural Encoder-Decoder Model to Relate fMRI Brain Activity with Naturalistic Stimuli

• arxiv url: http://arxiv.org/abs/2507.12009v1
• Date: Wed, 16 Jul 2025 08:08:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 19:00:11.295062
• Title: Deep Neural Encoder-Decoder Model to Relate fMRI Brain Activity with Naturalistic Stimuli
• Title（参考訳）: 深部神経エンコーダデコーダモデルによるfMRI脳活動と自然刺激との関係
• Authors: Florian David, Michael Chan, Elenor Morgenroth, Patrik Vuilleumier, Dimitri Van De Ville,
• Abstract要約: そこで本研究では,脳活動のエンコードとデコードを行う,エンド・ツー・エンドのディープ・ニューラル・エンコーダ・デコーダモデルを提案する。 我々はアーキテクチャに時間的畳み込み層を導入し、自然界の刺激とfMRIの時間分解能ギャップを効果的に埋めることを可能にする。
• 参考スコア（独自算出の注目度）: 2.7149743794003913
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We propose an end-to-end deep neural encoder-decoder model to encode and decode brain activity in response to naturalistic stimuli using functional magnetic resonance imaging (fMRI) data. Leveraging temporally correlated input from consecutive film frames, we employ temporal convolutional layers in our architecture, which effectively allows to bridge the temporal resolution gap between natural movie stimuli and fMRI acquisitions. Our model predicts activity of voxels in and around the visual cortex and performs reconstruction of corresponding visual inputs from neural activity. Finally, we investigate brain regions contributing to visual decoding through saliency maps. We find that the most contributing regions are the middle occipital area, the fusiform area, and the calcarine, respectively employed in shape perception, complex recognition (in particular face perception), and basic visual features such as edges and contrasts. These functions being strongly solicited are in line with the decoder's capability to reconstruct edges, faces, and contrasts. All in all, this suggests the possibility to probe our understanding of visual processing in films using as a proxy the behaviour of deep learning models such as the one proposed in this paper.
• Abstract（参考訳）: 機能的磁気共鳴画像(fMRI)データを用いて,脳活動のエンコードとデコードを行うエンド・ツー・エンドのディープ・ニューラルエンコーダ・デコーダモデルを提案する。 連続したフィルムフレームからの時間相関入力を活用することで、アーキテクチャに時間畳み込み層を導入し、自然な映画刺激とfMRI取得の間の時間分解能ギャップを効果的に橋渡しすることができる。 本モデルでは, 視覚野周辺におけるボクセルの活性を予測し, 神経活動から対応する視覚入力を再現する。 最後に、サリエンシマップによる視覚的復号化に寄与する脳領域について検討する。 最も寄与している領域は, 形状知覚, 複雑な認識, エッジ, コントラストなどの基本的な視覚的特徴である。 これらの機能は、エッジ、顔、コントラストを再構築するデコーダの機能と強く関連している。 全体としては,本論文で提案したような深層学習モデルの振る舞いをプロキシとして利用して,映像における視覚的処理の理解を探索する可能性が示唆されている。

関連論文リスト

• DecoFuse: Decomposing and Fusing the "What", "Where", and "How" for Brain-Inspired fMRI-to-Video Decoding [82.91021399231184]
  既存のfMRI-to-video法は、しばしば空間情報や動き情報を見下ろしながら意味的内容に焦点を当てる。 そこで我々は,fMRI信号から映像をデコードするための,脳にインスパイアされた新しいフレームワークであるDecoFuseを提案する。 まず、ビデオはセマンティック、空間、動きの3つのコンポーネントに分解し、次に各コンポーネントを別々にデコードしてから、ビデオを再構成する。
  論文  参考訳（メタデータ） (2025-04-01T05:28:37Z)
• Intraoperative Registration by Cross-Modal Inverse Neural Rendering [61.687068931599846]
  クロスモーダル逆ニューラルレンダリングによる神経外科手術における術中3D/2Dレジストレーションのための新しいアプローチを提案する。 本手法では,暗黙の神経表現を2つの構成要素に分離し,術前および術中における解剖学的構造について検討した。 臨床症例の振り返りデータを用いて本法の有効性を検証し,現在の登録基準を満たした状態での最先端の検査成績を示した。
  論文  参考訳（メタデータ） (2024-09-18T13:40:59Z)
• R&B -- Rhythm and Brain: Cross-subject Decoding of Music from Human Brain Activity [0.12289361708127873]
  音楽は、文化全体にわたる人間の経験に大きな影響を及ぼす普遍的な現象である。 本研究では,音楽の知覚における機能的MRI(FMRI)を用いた人間の脳活動から,音楽の復号化が可能であるかを検討した。
  論文  参考訳（メタデータ） (2024-06-21T17:11:45Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• NeuroCine: Decoding Vivid Video Sequences from Human Brain Activties [23.893490180665996]
  本稿では,fMRIデータを復号化するための新たな二相フレームワークであるNeuroCineを紹介する。 公開されているfMRIデータセットでテストした結果,有望な結果が得られた。 このモデルが既存の脳構造や機能と一致し,その生物学的妥当性と解釈可能性を示すことが示唆された。
  論文  参考訳（メタデータ） (2024-02-02T17:34:25Z)
• Unidirectional brain-computer interface: Artificial neural network encoding natural images to fMRI response in the visual cortex [12.1427193917406]
  本稿では,人間の脳を模倣する人工ニューラルネットワークVISIONを提案する。 VISIONは、人間の血行動態の反応をfMRIボクセル値として、最先端の性能を超える精度で45%の精度で予測することに成功した。
  論文  参考訳（メタデータ） (2023-09-26T15:38:26Z)
• Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain Activities [31.448924808940284]
  2相fMRI表現学習フレームワークを提案する。 第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。 第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
  論文  参考訳（メタデータ） (2023-05-26T19:16:23Z)
• Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
  本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。 提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。 生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-05-19T09:57:19Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images [79.07468367923619]
  畳み込み型神経生成符号化(Conv-NGC)を開発した。 我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。 本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
  論文  参考訳（メタデータ） (2022-11-22T06:42:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。