論文の概要: Brain-grounding of semantic vectors improves neural decoding of visual stimuli
- arxiv url: http://arxiv.org/abs/2403.15176v2
- Date: Sun, 11 Aug 2024 05:14:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 23:38:15.631143
- Title: Brain-grounding of semantic vectors improves neural decoding of visual stimuli
- Title（参考訳）: 意味ベクトルの脳基底化は視覚刺激の神経復号を改善する
- Authors: Shirin Vafaei, Ryohei Fukuma, Huixiang Yang, Haruhiko Kishima, Takufumi Yanagisawa,
- Abstract要約: 本稿では,意味ベクトルの脳基底と呼ばれる表現学習フレームワークを提案する。
機能的磁気共鳴画像(fMRI)を150種類の視覚刺激カテゴリーで訓練した。
1)fMRI, 2)脳磁図(MEG), 3)脳磁図(ECoG)の視覚刺激の神経データを用いてゼロショット脳復号を行った。
- 参考スコア（独自算出の注目度）: 0.3495246564946556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Developing algorithms for accurate neural decoding of mental contents is a long-cherished goal in the field of neuroscience. Brain decoding is typically employed by training machine learning models to map neural data into a pretrained feature vector representation of stimuli. These vectors are usually driven from imagebased and/or text-based feature spaces. This implies that their intrinsic characteristics might be fundamentally different than those encoded in neural activity patterns, resulting in limiting the capability of brain decoders to accurately learn this mapping. To address this issue, we propose a representation learning framework, termed brain-grounding of semantic vectors, that fine-tunes pretrained feature vectors to better align with the structure of neural representation of visual stimuli in the human brain. We trained this model with functional magnetic resonance imaging (fMRI) of 150 visual stimuli categories and then performed zero-shot brain decoding on 1) fMRI, 2) magnetoencephalography (MEG), and 3) electrocorticography (ECoG) neural data of visual stimuli. Our results demonstrated that by using the fMRI-based brain-grounded vectors, the zero-shot decoding accuracy of brain data from all three neuroimaging modalities increases. These findings underscore the potential of incorporating a richer array of brain-derived features to enhance the performance of brain decoding algorithms.
- Abstract（参考訳）: メンタルコンテンツの正確なニューラルデコードのためのアルゴリズムを開発することは、神経科学の分野における長年の目標である。
脳の復号化は通常、ニューラルネットワークを刺激の事前訓練された特徴ベクトル表現にマッピングするために機械学習モデルを訓練するために使用される。
これらのベクトルは通常、画像ベースまたは/またはテキストベースの特徴空間から駆動される。
これは、その固有の特性が神経活動パターンに符号化されたものと根本的に異なる可能性があり、脳デコーダがこのマッピングを正確に学習する能力を制限することを意味する。
そこで本研究では,人間の脳における視覚刺激の神経的表現構造をよりよく整合させる,セマンティックベクターの脳基底化という表現学習フレームワークを提案する。
我々は150の視覚刺激カテゴリーの機能的磁気共鳴画像(fMRI)を用いてこのモデルを訓練し、ゼロショット脳デコーディングを行った。
1)fMRI,
2)脳磁図(MEG)、及び
3)視覚刺激の脳波データ(ECoG)。
その結果、fMRIを用いた脳基底ベクトルを用いて、3つの脳画像から得られる脳データのゼロショット復号精度が増大することが判明した。
これらの知見は、脳復号アルゴリズムの性能を高めるために、より豊富な脳由来の機能を組み込むことの可能性を強調している。
関連論文リスト
- Towards Neural Foundation Models for Vision: Aligning EEG, MEG, and fMRI Representations for Decoding, Encoding, and Modality Conversion [0.11249583407496218]
本稿では, コントラスト学習を活用することで, 脳活動のマルチモーダル表現に対して, 神経データと視覚刺激を協調させる基礎モデルを構築するための新しいアプローチを提案する。
脳波(EEG)、脳磁図(MEG)、fMRIデータを用いた。
われわれのフレームワークの能力は、ニューラルデータから視覚情報をデコードし、画像をニューラル表現にエンコードし、ニューラルモダリティ間の変換という3つの重要な実験によって実証される。
論文 参考訳（メタデータ） (2024-11-14T12:27:27Z) - Graph Neural Networks for Brain Graph Learning: A Survey [53.74244221027981]
グラフニューラルネットワーク(GNN)は、グラフ構造化データのマイニングにおいて大きな優位性を示している。
脳障害解析のための脳グラフ表現を学習するGNNが最近注目を集めている。
本稿では,GNNを利用した脳グラフ学習の成果をレビューすることで,このギャップを埋めることを目的としている。
論文 参考訳（メタデータ） (2024-06-01T02:47:39Z) - Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。
我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。
予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
論文 参考訳（メタデータ） (2024-05-24T06:06:11Z) - Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。
最初はFlyTracingという名前のデータセットを構築しました。
本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-01-05T19:45:12Z) - Learn to integrate parts for whole through correlated neural variability [8.173681663544757]
感覚知覚は感覚ニューロンの反応に起因し、特定の知覚物体の物理的特性に関連付けられた知覚信号の集まりに反応する。
これらの神経反応から脳がどのように知覚情報を抽出するかを明らかにすることは、計算神経科学と機械学習の両方において重要な課題である。
本稿では,知覚情報を知覚ニューロンの相関変数に符号化し,下流ニューロンの発火速度に変換する統計力学理論を提案する。
論文 参考訳（メタデータ） (2024-01-01T13:05:29Z) - Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain
Activities [31.448924808940284]
2相fMRI表現学習フレームワークを提案する。
第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。
第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
論文 参考訳（メタデータ） (2023-05-26T19:16:23Z) - BrainBERT: Self-supervised representation learning for intracranial
recordings [18.52962864519609]
我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。
NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。
将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
論文 参考訳（メタデータ） (2023-02-28T07:40:37Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳（メタデータ） (2023-02-25T03:28:54Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - Explainable fMRI-based Brain Decoding via Spatial Temporal-pyramid Graph
Convolutional Network [0.8399688944263843]
既存のfMRIベースの脳デコードのための機械学習手法は、分類性能が低いか、説明性が悪いかのいずれかに悩まされている。
本稿では,機能的脳活動の時空間グラフ表現を捉えるために,生物学的にインスパイアされたアーキテクチャである時空間ピラミドグラフ畳み込みネットワーク(STpGCN)を提案する。
我々は,Human Connectome Project (HCP) S1200から23の認知タスク下でのfMRIデータに関する広範な実験を行った。
論文 参考訳（メタデータ） (2022-10-08T12:14:33Z) - Toward a realistic model of speech processing in the brain with
self-supervised learning [67.7130239674153]
生波形で訓練された自己教師型アルゴリズムは有望な候補である。
We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
論文 参考訳（メタデータ） (2022-06-03T17:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。