論文の概要: Teaching CORnet Human fMRI Representations for Enhanced Model-Brain Alignment
- arxiv url: http://arxiv.org/abs/2407.10414v1
- Date: Mon, 15 Jul 2024 03:31:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 16:20:45.783707
- Title: Teaching CORnet Human fMRI Representations for Enhanced Model-Brain Alignment
- Title（参考訳）: モデル脳アライメント向上のためのCORnet Human fMRI表現の指導
- Authors: Zitong Lu, Yile Wang,
- Abstract要約: 認知神経科学において広く用いられる技術として機能的磁気共鳴イメージング(fMRI)は、視覚知覚の過程における人間の視覚野の神経活動を記録することができる。
本研究では,SOTAビジョンモデルCORnetに基づくモデルであるReAlnet-fMRIを提案する。
fMRIを最適化したReAlnet-fMRIは、CORnetと制御モデルの両方においてヒトの脳との類似性が高く、また、内・内・対モダリティモデル脳(fMRI、EEG)も高い類似性を示した。
- 参考スコア（独自算出の注目度）: 2.035627332992055
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep convolutional neural networks (DCNNs) have demonstrated excellent performance in object recognition and have been found to share some similarities with brain visual processing. However, the substantial gap between DCNNs and human visual perception still exists. Functional magnetic resonance imaging (fMRI) as a widely used technique in cognitive neuroscience can record neural activation in the human visual cortex during the process of visual perception. Can we teach DCNNs human fMRI signals to achieve a more brain-like model? To answer this question, this study proposed ReAlnet-fMRI, a model based on the SOTA vision model CORnet but optimized using human fMRI data through a multi-layer encoding-based alignment framework. This framework has been shown to effectively enable the model to learn human brain representations. The fMRI-optimized ReAlnet-fMRI exhibited higher similarity to the human brain than both CORnet and the control model in within-and across-subject as well as within- and across-modality model-brain (fMRI and EEG) alignment evaluations. Additionally, we conducted an in-depth analyses to investigate how the internal representations of ReAlnet-fMRI differ from CORnet in encoding various object dimensions. These findings provide the possibility of enhancing the brain-likeness of visual models by integrating human neural data, helping to bridge the gap between computer vision and visual neuroscience.
- Abstract（参考訳）: ディープ畳み込みニューラルネットワーク(DCNN)は、物体認識において優れた性能を示し、脳の視覚処理と類似点があることが判明した。
しかし、DCNNと人間の視覚的知覚の間には、かなりのギャップが残っている。
認知神経科学において広く用いられる技術として機能的磁気共鳴イメージング(fMRI)は、視覚知覚の過程において人間の視覚野の神経活動を記録することができる。
より脳的なモデルを実現するために、DCNNに人間のfMRI信号を教えることはできますか?
そこで本研究では,SOTAビジョンモデルCORnetに基づくモデルであるReAlnet-fMRIを提案する。
この枠組みは、モデルが人間の脳表現を効果的に学習することを可能にすることが示されている。
fMRIを最適化したReAlnet-fMRIは、CORnetと制御モデルの両方でヒトの脳と高い類似性を示し、また、内部および横断的なモデル脳(fMRIとEEG)アライメントの評価も行った。
さらに,ReAlnet-fMRIの内部表現がCORnetとどう異なるのかを,様々な物体次元の符号化において詳細に分析した。
これらの知見は、人間の神経データを統合することで視覚モデルの脳類似性を高める可能性を提供し、コンピュータビジョンと視覚神経科学のギャップを埋める助けとなる。
関連論文リスト
- Towards Neural Foundation Models for Vision: Aligning EEG, MEG, and fMRI Representations for Decoding, Encoding, and Modality Conversion [0.11249583407496218]
本稿では, コントラスト学習を活用することで, 脳活動のマルチモーダル表現に対して, 神経データと視覚刺激を協調させる基礎モデルを構築するための新しいアプローチを提案する。
脳波(EEG)、脳磁図(MEG)、fMRIデータを用いた。
われわれのフレームワークの能力は、ニューラルデータから視覚情報をデコードし、画像をニューラル表現にエンコードし、ニューラルモダリティ間の変換という3つの重要な実験によって実証される。
論文 参考訳（メタデータ） (2024-11-14T12:27:27Z) - Brain-like Functional Organization within Large Language Models [58.93629121400745]
人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた
最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。
本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。
このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
論文 参考訳（メタデータ） (2024-10-25T13:15:17Z) - Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。
我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。
予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
論文 参考訳（メタデータ） (2024-05-24T06:06:11Z) - Brainformer: Mimic Human Visual Brain Functions to Machine Vision Models via fMRI [12.203617776046169]
本稿では,人間の知覚システムにおけるfMRIパターンを解析するためのBrainformerという新しいフレームワークを紹介する。
この研究は、人間の知覚からニューラルネットワークに知識を移すための先進的なアプローチを導入する。
論文 参考訳（メタデータ） (2023-11-30T22:39:23Z) - Unidirectional brain-computer interface: Artificial neural network
encoding natural images to fMRI response in the visual cortex [12.1427193917406]
本稿では,人間の脳を模倣する人工ニューラルネットワークVISIONを提案する。
VISIONは、人間の血行動態の反応をfMRIボクセル値として、最先端の性能を超える精度で45%の精度で予測することに成功した。
論文 参考訳（メタデータ） (2023-09-26T15:38:26Z) - Controllable Mind Visual Diffusion Model [58.83896307930354]
脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。
我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。
CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。
そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
論文 参考訳（メタデータ） (2023-05-17T11:36:40Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳（メタデータ） (2023-03-26T14:14:58Z) - DynDepNet: Learning Time-Varying Dependency Structures from fMRI Data
via Dynamic Graph Structure Learning [58.94034282469377]
下流予測タスクによって誘導されるfMRIデータの最適時間変化依存性構造を学習する新しい手法であるDynDepNetを提案する。
実世界のfMRIデータセットの実験は、性別分類のタスクにおいて、DynDepNetが最先端の結果を達成することを実証している。
論文 参考訳（メタデータ） (2022-09-27T16:32:11Z) - Deep Representations for Time-varying Brain Datasets [4.129225533930966]
本稿では、領域マップされたfMRIシーケンスと構造接続性の両方を入力として組み込んだ効率的なグラフニューラルネットワークモデルを構築する。
サンプルレベルの適応的隣接行列を学習することで、潜伏する脳のダイナミクスのよい表現を見つけ出す。
これらのモジュールは容易に適応でき、神経科学領域以外の用途にも有用である可能性がある。
論文 参考訳（メタデータ） (2022-05-23T21:57:31Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳（メタデータ） (2022-05-06T03:45:36Z) - Deep Auto-encoder with Neural Response [8.797970797884023]
ニューラルレスポンス(DAE-NR)を用いたディープオートエンコーダと呼ばれるハイブリッドモデルを提案する。
DAE-NRは、視覚野からの情報をANNに組み込んで、より優れた画像再構成と、生物学的および人工ニューロン間の高い神経表現類似性を実現する。
DAE-NRは, 共同学習によって(画像再構成の性能の向上) 生体ニューロンと人工ニューロンとの表現的類似性の向上が可能であることを実証した。
論文 参考訳（メタデータ） (2021-11-30T11:44:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。