論文の概要: Prototypes of the Mind: A Unified Framework for Probing the Visual Brain
- arxiv url: http://arxiv.org/abs/2611.15046v1
- Date: Wed, 11 Nov 2026 05:15:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.048749
- Title: Prototypes of the Mind: A Unified Framework for Probing the Visual Brain
- Title(参考訳): 心のプロトタイプ:視覚脳を探索するための統一フレームワーク
- Abstract要約: 視覚基盤モデルと脳活動を結合する統合フレームワークを導入する。
提案手法では,ブラックボックスの特徴を視覚プロトタイプからなるスパースで解釈可能な表現に置き換える。
このインタフェースを用いて、どの視覚概念がニューラルレスポンスを駆動し、どこで画像に現れるかを特定する。
- 参考スコア(独自算出の注目度): 5.287343587706663
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning has driven substantial progress in modeling fMRI responses, yet most existing approaches are optimized for a single objective---such as neural encoding, stimulus decoding, or post hoc interpretation---making it difficult to obtain a coherent account of neural representations. We introduce a unified framework that connects vision foundation models to brain activity while supporting neural analysis from multiple complementary perspectives. Our approach replaces black-box features with a sparse, interpretable representation composed of visual prototypes, and links these prototypes to voxel responses through a linear readout. This design makes the model transparent at both levels: prototype activations expose the visual concepts present in the stimulus, while the learned linear weights characterize each voxel's selectivity. Using this interface, we identify which visual concepts drive neural responses and where they appear in the image, reveal cortical organization through voxel tuning in prototype space, and perform controlled stimulus synthesis to probe cortical selectivity through targeted interventions. Together, these results establish prototype-based representations as a unified and interpretable foundation for studying visual representations in the human brain.
- Abstract(参考訳): ディープラーニングはfMRI応答のモデリングにおいて大きな進歩をもたらしたが、既存のほとんどのアプローチは、ニューラルエンコーディング、刺激復号、ポストホック解釈など、単一目的のために最適化されている。
複数の相補的な視点から神経分析をサポートしながら、視覚基盤モデルと脳活動とを結合する統合フレームワークを導入する。
提案手法は,ブラックボックスの特徴を視覚プロトタイプからなるスパースで解釈可能な表現に置き換え,これらのプロトタイプを線形読み出しによるボクセル応答にリンクする。
プロトタイプのアクティベーションは刺激に存在する視覚概念を露出させ、学習された線形重みはそれぞれのボクセルの選択性を特徴づける。
このインタフェースを用いて、どの視覚概念がニューラルレスポンスを駆動し、どこで画像に現れるかを特定し、プロトタイプ空間におけるボクセルチューニングを通して皮質組織を明らかにし、ターゲットとなる介入を通して皮質選択性を探索するための制御された刺激合成を行う。
これらの結果は、人間の脳における視覚的表現を研究するための統一的で解釈可能な基盤として、プロトタイプベースの表現を確立している。
関連論文リスト
- Meta-learning In-Context Enables Training-Free Cross Subject Brain Decoding [19.258438045449846]
本稿では,fMRIによる意味的視覚的デコードのためのメタ最適化手法を提案する。
我々のアプローチは、新しい主題の符号化モデルのコンテキスト内学習に明示的に最適化されている。
様々な視覚的バックボーンにまたがる強力なクロスオブジェクトとクロススキャナの一般化を,リトレーニングや微調整を伴わずに示す。
論文 参考訳(メタデータ) (2026-04-09T17:59:32Z) - Towards Interpretable Visual Decoding with Attention to Brain Representations [3.254716591226115]
近年の研究では、複雑な視覚刺激が深部生成モデルを用いて人間の脳活動からデコードできることが示されている。
視覚的デコードフレームワークであるNeuroAdapterを提案する。
本研究は、視覚神経科学のレンズを通して、脳と画像の終末復号化の可能性を強調し、拡散モデルを解釈する方法を確立するものである。
論文 参考訳(メタデータ) (2025-09-28T01:55:55Z) - SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning [54.390403684665834]
視覚刺激が皮質反応にどのように変換されるかを理解することは、計算神経科学の基本的な課題である。
視覚的意味論から神経反応への変換を確率的かつ生物学的に解釈可能な方法でシミュレートする生成フレームワークであるSynBrainを提案する。
実験結果から,SynBrainは被写体特異的視覚-fMRI符号化性能において最先端の手法を超越していることが示された。
論文 参考訳(メタデータ) (2025-08-14T03:01:05Z) - Visualizing and Controlling Cortical Responses Using Voxel-Weighted Activation Maximization [0.0]
ディープニューラルネットワーク(DNN)は、人間の視覚系に類似した視覚表現に基づいて訓練されている。
DNNベースの符号化モデルにアクティベーションが適用可能であることを示す。
我々は個々のボクセルで予測応答に最適化された画像を生成する。
論文 参考訳(メタデータ) (2025-06-04T18:48:08Z) - Brain Mapping with Dense Features: Grounding Cortical Semantic Selectivity in Natural Images With Vision Transformers [5.265058307999745]
本稿では,自然界における空間分布型視覚概念とニューラルセレクティビティを関連付ける方法であるBrainSAILを紹介する。
BrainSAILは、事前訓練された視覚モデルから意味的に一貫性があり、密集した空間的特徴を利用する。
カテゴリー選択性のある大脳皮質領域におけるBrainSAILの評価を行った。
論文 参考訳(メタデータ) (2024-10-07T17:59:45Z) - Unidirectional brain-computer interface: Artificial neural network
encoding natural images to fMRI response in the visual cortex [12.1427193917406]
本稿では,人間の脳を模倣する人工ニューラルネットワークVISIONを提案する。
VISIONは、人間の血行動態の反応をfMRIボクセル値として、最先端の性能を超える精度で45%の精度で予測することに成功した。
論文 参考訳(メタデータ) (2023-09-26T15:38:26Z) - Controllable Mind Visual Diffusion Model [58.83896307930354]
脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。
我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。
CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。
そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
論文 参考訳(メタデータ) (2023-05-17T11:36:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。