論文の概要: NSD-Imagery: A benchmark dataset for extending fMRI vision decoding methods to mental imagery
- arxiv url: http://arxiv.org/abs/2506.06898v1
- Date: Sat, 07 Jun 2025 19:11:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 16:33:10.555326
- Title: NSD-Imagery: A benchmark dataset for extending fMRI vision decoding methods to mental imagery
- Title（参考訳）: NSD-Imagery:fMRI視覚復号法をメンタルイメージに拡張するためのベンチマークデータセット
- Authors: Reese Kneeland, Paul S. Scotti, Ghislain St-Yves, Jesse Breedlove, Kendrick Kay, Thomas Naselaris,
- Abstract要約: NSD-Imageryは精神画像と組み合わせた人間のfMRI活動のベンチマークデータセットである。
心的画像における復号法の性能は、視覚再建における性能と大きく切り離されていることを示す。
- 参考スコア（独自算出の注目度）: 0.33654492025566546
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We release NSD-Imagery, a benchmark dataset of human fMRI activity paired with mental images, to complement the existing Natural Scenes Dataset (NSD), a large-scale dataset of fMRI activity paired with seen images that enabled unprecedented improvements in fMRI-to-image reconstruction efforts. Recent models trained on NSD have been evaluated only on seen image reconstruction. Using NSD-Imagery, it is possible to assess how well these models perform on mental image reconstruction. This is a challenging generalization requirement because mental images are encoded in human brain activity with relatively lower signal-to-noise and spatial resolution; however, generalization from seen to mental imagery is critical for real-world applications in medical domains and brain-computer interfaces, where the desired information is always internally generated. We provide benchmarks for a suite of recent NSD-trained open-source visual decoding models (MindEye1, MindEye2, Brain Diffuser, iCNN, Takagi et al.) on NSD-Imagery, and show that the performance of decoding methods on mental images is largely decoupled from performance on vision reconstruction. We further demonstrate that architectural choices significantly impact cross-decoding performance: models employing simple linear decoding architectures and multimodal feature decoding generalize better to mental imagery, while complex architectures tend to overfit visual training data. Our findings indicate that mental imagery datasets are critical for the development of practical applications, and establish NSD-Imagery as a useful resource for better aligning visual decoding methods with this goal.
- Abstract（参考訳）: 我々は、人間のfMRI活動のベンチマークデータセットであるNSD-Imageryをリリースし、既存のNatural Scenes Dataset(NSD)を補完する。
NSDで訓練された最近のモデルは、画像再構成でのみ評価されている。
NSD-Imagery を用いて、これらのモデルが心的画像再構成においてどれだけうまく機能するかを評価することができる。
これは、人間の脳活動において、比較的低い信号対雑音と空間分解能でメンタルイメージが符号化されるため、難しい一般化要件である。
NSD-Imageryでは,最近のNSDで訓練されたオープンソースビジュアルデコーディングモデル(MindEye1,MindEye2,Brain Diffuser,iCNN,Takagiなど)のベンチマークを行い,メンタルイメージにおける復号法の性能が視覚再構成のパフォーマンスと大きく切り離されていることを示す。
単純な線形デコーディングアーキテクチャとマルチモーダル特徴デコーディングを用いたモデルでは、複雑なアーキテクチャでは視覚訓練データに過度に適合する傾向にある。
本研究は,精神画像データセットが実用的なアプリケーション開発に不可欠であることを示し,この目標と視覚的デコード手法の整合性を高めるための有用な資源として,SD-Imageryを確立した。
関連論文リスト
- Estimating Task-based Performance Bounds for Accelerated MRI Image Reconstruction Methods by Use of Learned-Ideal Observers [7.765750378590293]
画像計測に作用する理想的なオブザーバ(IO)の性能は、画像システムの最適化の指針として長年議論されてきた。
IOパフォーマンスの推定は、アンダーサンプリングされたデータ取得テクニックを設計する際の貴重なガイダンスを提供することができる。
論文 参考訳（メタデータ） (2025-01-16T01:09:30Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - See Through Their Minds: Learning Transferable Neural Representation from Cross-Subject fMRI [32.40827290083577]
機能的磁気共鳴イメージング(fMRI)からの視覚内容の解読は、人間の視覚系を照らすのに役立つ。
従来のアプローチは主に、トレーニングサンプルサイズに敏感な、主題固有のモデルを採用していた。
本稿では,fMRIデータを統合表現にマッピングするための,サブジェクト固有の浅層アダプタを提案する。
トレーニング中,マルチモーダル脳復号における視覚的・テキスト的監督の両面を活用する。
論文 参考訳（メタデータ） (2024-03-11T01:18:49Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳（メタデータ） (2023-11-01T07:24:22Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳（メタデータ） (2023-03-26T14:14:58Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳（メタデータ） (2023-02-25T03:28:54Z) - Convolutional Neural Generative Coding: Scaling Predictive Coding to
Natural Images [79.07468367923619]
畳み込み型神経生成符号化(Conv-NGC)を開発した。
我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。
本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
論文 参考訳（メタデータ） (2022-11-22T06:42:41Z) - Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。
単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。
脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
論文 参考訳（メタデータ） (2022-09-30T06:32:46Z) - Facial Image Reconstruction from Functional Magnetic Resonance Imaging
via GAN Inversion with Improved Attribute Consistency [5.705640492618758]
我々はfMRIデータから顔画像を再構成する新しい枠組みを提案する。
提案手法は,(1)fMRIデータから明瞭な顔画像の再構成,(2)意味的特徴の一貫性の維持という2つの目標を達成する。
論文 参考訳（メタデータ） (2022-07-03T11:18:35Z) - Natural Image Reconstruction from fMRI using Deep Learning: A Survey [5.821090056678976]
我々は、fMRIによる自然画像再構成のための最新のディープラーニング手法について調査する。
本稿では,これらの手法をアーキテクチャ設計,ベンチマークデータセット,評価指標の観点から検討する。
本稿では,既存研究の強みと限界,今後の方向性について論じる。
論文 参考訳（メタデータ） (2021-10-18T04:05:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。