論文の概要: Brain-aligning of semantic vectors improves neural decoding of visual stimuli
- arxiv url: http://arxiv.org/abs/2403.15176v3
- Date: Thu, 12 Sep 2024 09:35:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-13 22:02:48.147516
- Title: Brain-aligning of semantic vectors improves neural decoding of visual stimuli
- Title（参考訳）: 意味ベクトルの脳適応は視覚刺激の神経復号を改善する
- Authors: Shirin Vafaei, Ryohei Fukuma, Takufumi Yanagisawa, Huixiang Yang, Satoru Oshino, Naoki Tani, Hui Ming Khoo, Hidenori Sugano, Yasushi Iimura, Hiroharu Suzuki, Madoka Nakajima, Kentaro Tamura, Haruhiko Kishima,
- Abstract要約: 本稿では,意味ベクトルの頭脳適応という表現学習フレームワークを提案する。
我々は,150の視覚刺激カテゴリーを表すfMRIデータを用いて,このモデルを訓練した。
1)fMRI, 2)脳磁図(MEG), 3)脳波(ECoG)データを用いてゼロショット脳復号を行った。
- 参考スコア（独自算出の注目度）: 2.4891396531775563
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The development of algorithms to accurately decode of neural information is a long-standing effort in the field of neuroscience. Brain decoding is typically employed by training machine learning models to map neural data onto a preestablished vector representation of stimulus features. These vectors are usually derived from image- and/or text-based feature spaces. Nonetheless, the intrinsic characteristics of these vectors might be fundamentally different than those encoded by the brain, limiting the ability of algorithms to accurately learn this mapping. To address this issue, here, we propose a representation learning framework, called brain-aligning of semantic vectors, that fine-tunes pretrained feature vectors to better align with the structure of neural representations of visual stimuli in the human brain. We trained this model with functional magnetic resonance imaging (fMRI) data representing 150 visual stimulus categories; then, we performed zero-shot brain decoding on 1) fMRI, 2) magnetoencephalography (MEG), and 3) electrocorticography (ECoG) data reflecting neural representations of visual stimuli. By using fMRI-based brain-aligned vectors, the zero-shot decoding accuracy all three neuroimaging datasets increased. This finding underscores the potential of leveraging a richer array of brainderived features to increase the performance of brain decoding algorithms.
- Abstract（参考訳）: 神経情報の正確な復号化のためのアルゴリズムの開発は、神経科学の分野で長年の努力である。
脳の復号化は通常、ニューラルネットワークを刺激特徴の既定ベクトル表現にマッピングするために機械学習モデルを訓練するために使用される。
これらのベクトルは通常、画像および/またはテキストベースの特徴空間から導出される。
それでも、これらのベクトルの本質的な特性は、脳によって符号化されたものと根本的に異なる可能性があり、このマッピングを正確に学習するアルゴリズムの能力を制限している。
そこで本研究では、人間の脳における視覚刺激の神経的表現構造をよりよく整合させるために、微調整された特徴ベクトルを前訓練した意味ベクトルの脳適応という表現学習フレームワークを提案する。
我々は、150の視覚刺激カテゴリーを表すfMRIデータを用いて、このモデルを訓練し、ゼロショット脳デコーディングを行った。
1)fMRI,
2)脳磁図(MEG)、及び
3)視覚刺激の神経表現を反映した心電図(ECoG)データ。
fMRIベースの脳適合ベクトルを使用することで、3つのニューロイメージングデータセットのゼロショット復号精度が向上した。
この発見は、脳の復号アルゴリズムの性能を高めるために、よりリッチな脳由来の機能を活用する可能性を強調している。
関連論文リスト
- Towards Neural Foundation Models for Vision: Aligning EEG, MEG, and fMRI Representations for Decoding, Encoding, and Modality Conversion [0.11249583407496218]
本稿では, コントラスト学習を活用することで, 脳活動のマルチモーダル表現に対して, 神経データと視覚刺激を協調させる基礎モデルを構築するための新しいアプローチを提案する。
脳波(EEG)、脳磁図(MEG)、fMRIデータを用いた。
われわれのフレームワークの能力は、ニューラルデータから視覚情報をデコードし、画像をニューラル表現にエンコードし、ニューラルモダリティ間の変換という3つの重要な実験によって実証される。
論文 参考訳（メタデータ） (2024-11-14T12:27:27Z) - Graph Neural Networks for Brain Graph Learning: A Survey [53.74244221027981]
グラフニューラルネットワーク(GNN)は、グラフ構造化データのマイニングにおいて大きな優位性を示している。
脳障害解析のための脳グラフ表現を学習するGNNが最近注目を集めている。
本稿では,GNNを利用した脳グラフ学習の成果をレビューすることで,このギャップを埋めることを目的としている。
論文 参考訳（メタデータ） (2024-06-01T02:47:39Z) - Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。
我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。
予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
論文 参考訳（メタデータ） (2024-05-24T06:06:11Z) - Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。
最初はFlyTracingという名前のデータセットを構築しました。
本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-01-05T19:45:12Z) - Learn to integrate parts for whole through correlated neural variability [8.173681663544757]
感覚知覚は感覚ニューロンの反応に起因し、特定の知覚物体の物理的特性に関連付けられた知覚信号の集まりに反応する。
これらの神経反応から脳がどのように知覚情報を抽出するかを明らかにすることは、計算神経科学と機械学習の両方において重要な課題である。
本稿では,知覚情報を知覚ニューロンの相関変数に符号化し,下流ニューロンの発火速度に変換する統計力学理論を提案する。
論文 参考訳（メタデータ） (2024-01-01T13:05:29Z) - Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain
Activities [31.448924808940284]
2相fMRI表現学習フレームワークを提案する。
第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。
第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
論文 参考訳（メタデータ） (2023-05-26T19:16:23Z) - BrainBERT: Self-supervised representation learning for intracranial
recordings [18.52962864519609]
我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。
NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。
将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
論文 参考訳（メタデータ） (2023-02-28T07:40:37Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳（メタデータ） (2023-02-25T03:28:54Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - Explainable fMRI-based Brain Decoding via Spatial Temporal-pyramid Graph
Convolutional Network [0.8399688944263843]
既存のfMRIベースの脳デコードのための機械学習手法は、分類性能が低いか、説明性が悪いかのいずれかに悩まされている。
本稿では,機能的脳活動の時空間グラフ表現を捉えるために,生物学的にインスパイアされたアーキテクチャである時空間ピラミドグラフ畳み込みネットワーク(STpGCN)を提案する。
我々は,Human Connectome Project (HCP) S1200から23の認知タスク下でのfMRIデータに関する広範な実験を行った。
論文 参考訳（メタデータ） (2022-10-08T12:14:33Z) - Toward a realistic model of speech processing in the brain with
self-supervised learning [67.7130239674153]
生波形で訓練された自己教師型アルゴリズムは有望な候補である。
We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
論文 参考訳（メタデータ） (2022-06-03T17:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。