論文の概要: Spiking Neural Networks for fMRI-Based Visual Semantic Decoding

• arxiv url: http://arxiv.org/abs/2607.19170v1
• Date: Tue, 21 Jul 2026 15:06:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.459448
• Title: Spiking Neural Networks for fMRI-Based Visual Semantic Decoding
• Title（参考訳）: fMRIに基づくビジュアルセマンティックデコーディングのためのスパイキングニューラルネットワーク
• Abstract要約: 我々は、fMRIに基づく視覚デコーディングの代替ターゲットとして、スパイキングニューラルネットワーク(SNN)由来の視覚特徴について検討する。 SNNから派生した特徴は、fMRI応答との強い整合性を示し、視覚的セマンティックデコーディング性能を改善する。
• 参考スコア（独自算出の注目度）: 29.532434324584003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Functional magnetic resonance imaging (fMRI)-based visual decoding aims to recover visual information from measured brain activity, commonly by mapping fMRI responses into latent visual features for downstream decoding tasks. Most existing methods learn mappings from fMRI responses to visual features extracted by artificial neural networks (ANNs), yet it remains unclear whether ANN-derived features provide suitable targets for brain decoding. In this study, we investigate spiking neural network (SNN)-derived visual features as alternative targets for fMRI-based visual decoding. We compare an ANN baseline with four SNN variants from the same architectural family, which differ in their spiking dynamics. To isolate the effect of the target features, all models use the same L2-regularized linear fMRI-to-feature decoder, while only the feature vectors used as regression targets are varied. Compared with the ANN baseline, SNN-derived features exhibit stronger alignment with fMRI responses and improve visual semantic decoding performance. For instance, on the GoD dataset, SNN-derived features reduce feature-prediction error from 0.7707 to 0.0282 and improve top-1 semantic decoding accuracy from 0.1800 to 0.4400. Ablation results further indicate that both spiking neural dynamics and temporal simulation steps contribute to the observed advantage. These findings support SNN-derived features as effective brain-decodable visual representations and highlight target feature design as an important component of fMRI-based visual decoding.
• Abstract（参考訳）: 機能的磁気共鳴画像(fMRI)に基づく視覚デコーディングは、一般的にfMRI応答を下流デコーディングタスクの潜在視覚特徴にマッピングすることにより、計測された脳活動から視覚情報を回復することを目的としている。 既存のほとんどの方法は、fMRI応答から、人工ニューラルネットワーク(ANN)によって抽出された視覚的特徴へのマッピングを学ぶが、ANNから派生した特徴が脳のデコードに適したターゲットを提供するかどうかは不明だ。 本研究では、fMRIに基づく視覚デコーディングの代替ターゲットとして、スパイキングニューラルネットワーク(SNN)由来の視覚特徴について検討する。 ANNベースラインと、同じアーキテクチャファミリーの4つのSNN変種を比較し、そのスパイクダイナミクスが異なる。 対象特徴の影響を分離するために、すべてのモデルはL2正規化線形fMRI-to-featureデコーダを使用し、レグレッションターゲットとして使用される特徴ベクトルのみが異なる。 ANNベースラインと比較して、SNN由来の機能はfMRI応答とより強く一致し、視覚的セマンティックデコーディング性能が向上する。 例えば、GoDデータセットでは、SNN由来の機能はフィーチャ予測エラーを0.7707から0.0282に削減し、トップ1セマンティックデコーディングの精度を0.1800から0.4400に改善している。 アブレーションの結果は、スパイキング神経力学と時間シミュレーションの両方が観察された優位性に寄与していることを示している。 これらの知見は、fMRIに基づく視覚的デコーディングの重要な構成要素として、脳の効果的な視覚表現としてSNN由来の特徴をサポートし、ターゲットの特徴設計を強調した。

関連論文リスト

• Simple Models, Rich Representations: Visual Decoding from Primate Intracortical Neural Signals [0.0]
  霊長類の高密度皮質内記録から視覚情報を復号する問題に対処する。 我々は,低分解能遅延再構成と意味的条件付き拡散を組み合わせたモジュラー生成復号パイプラインを開発した。 このフレームワークは、ブレイン・コンピュータ・インタフェースとセマンティック・ニューラル・デコーディングの原則を提供する。
  論文  参考訳（メタデータ） (2026-01-16T09:10:31Z)
• Adapting HFMCA to Graph Data: Self-Supervised Learning for Generalizable fMRI Representations [57.054499278843856]
  機能的磁気共鳴画像(fMRI)解析は、データセットのサイズが限られ、研究間でのドメインの変動が原因で大きな課題に直面している。 コンピュータビジョンにインスパイアされた従来の自己教師付き学習手法は、正と負のサンプルペアに依存することが多い。 本稿では,最近開発された階層関数最大相関アルゴリズム(HFMCA)をグラフ構造fMRIデータに適用することを提案する。
  論文  参考訳（メタデータ） (2025-10-05T12:35:01Z)
• Rest2Visual: Predicting Visually Evoked fMRI from Resting-State Scans [30.743554598059692]
  本研究では、静止状態入力と2次元視覚刺激から視覚誘発されたfMRI(ve-fMRI)を予測する条件生成モデルであるRest2Visualを紹介する。 この結果から,自発神経活動の個別化が刺激に適応した表現に変換できることが示唆された。
  論文  参考訳（メタデータ） (2025-09-17T01:08:03Z)
• SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning [54.390403684665834]
  視覚刺激が皮質反応にどのように変換されるかを理解することは、計算神経科学の基本的な課題である。 視覚的意味論から神経反応への変換を確率的かつ生物学的に解釈可能な方法でシミュレートする生成フレームワークであるSynBrainを提案する。 実験結果から,SynBrainは被写体特異的視覚-fMRI符号化性能において最先端の手法を超越していることが示された。
  論文  参考訳（メタデータ） (2025-08-14T03:01:05Z)
• Teaching CORnet Human fMRI Representations for Enhanced Model-Brain Alignment [2.035627332992055]
  認知神経科学において広く用いられる技術として機能的磁気共鳴イメージング(fMRI)は、視覚知覚の過程における人間の視覚野の神経活動を記録することができる。 本研究では,SOTAビジョンモデルCORnetに基づくモデルであるReAlnet-fMRIを提案する。 fMRIを最適化したReAlnet-fMRIは、CORnetと制御モデルの両方においてヒトの脳との類似性が高く、また、内・内・対モダリティモデル脳(fMRI、EEG)も高い類似性を示した。
  論文  参考訳（メタデータ） (2024-07-15T03:31:42Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• Convolutional neural network based on sparse graph attention mechanism for MRI super-resolution [0.34410212782758043]
  深層学習技術を用いた医用画像超解像(SR)再構成は、病変解析を強化し、診断効率と精度を向上させるために医師を支援する。 既存のディープラーニングベースのSR手法は、これらのモデルの表現能力を本質的に制限する畳み込みニューラルネットワーク(CNN)に依存している。 画像特徴抽出に複数の畳み込み演算子特徴抽出モジュール(MCO)を用いるAネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T06:14:22Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images [79.07468367923619]
  畳み込み型神経生成符号化(Conv-NGC)を開発した。 我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。 本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
  論文  参考訳（メタデータ） (2022-11-22T06:42:41Z)
• DynDepNet: Learning Time-Varying Dependency Structures from fMRI Data via Dynamic Graph Structure Learning [58.94034282469377]
  下流予測タスクによって誘導されるfMRIデータの最適時間変化依存性構造を学習する新しい手法であるDynDepNetを提案する。 実世界のfMRIデータセットの実験は、性別分類のタスクにおいて、DynDepNetが最先端の結果を達成することを実証している。
  論文  参考訳（メタデータ） (2022-09-27T16:32:11Z)
• Facial Image Reconstruction from Functional Magnetic Resonance Imaging via GAN Inversion with Improved Attribute Consistency [5.705640492618758]
  我々はfMRIデータから顔画像を再構成する新しい枠組みを提案する。 提案手法は,(1)fMRIデータから明瞭な顔画像の再構成,(2)意味的特徴の一貫性の維持という2つの目標を達成する。
  論文  参考訳（メタデータ） (2022-07-03T11:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。