論文の概要: Coupling Visual Semantics of Artificial Neural Networks and Human Brain
Function via Synchronized Activations
- arxiv url: http://arxiv.org/abs/2206.10821v1
- Date: Wed, 22 Jun 2022 03:32:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-23 15:38:22.477644
- Title: Coupling Visual Semantics of Artificial Neural Networks and Human Brain
Function via Synchronized Activations
- Title（参考訳）: 同期活性化による人工ニューラルネットワークの視覚意味と脳機能との結合
- Authors: Lin Zhao, Haixing Dai, Zihao Wu, Zhenxiang Xiao, Lu Zhang, David
Weizhong Liu, Xintao Hu, Xi Jiang, Sheng Li, Dajiang Zhu, Tianming Liu
- Abstract要約: 本稿では,ANNとBNNの視覚的表現空間と意味を結合する新しい計算フレームワーク,Sync-ACTを提案する。
このアプローチにより、人間の脳画像から生物学的に意味のある記述を導き、ANNのニューロンに意味論的に注釈を付けることができる。
- 参考スコア（独自算出の注目度）: 13.956089436100106
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial neural networks (ANNs), originally inspired by biological neural
networks (BNNs), have achieved remarkable successes in many tasks such as
visual representation learning. However, whether there exists semantic
correlations/connections between the visual representations in ANNs and those
in BNNs remains largely unexplored due to both the lack of an effective tool to
link and couple two different domains, and the lack of a general and effective
framework of representing the visual semantics in BNNs such as human functional
brain networks (FBNs). To answer this question, we propose a novel
computational framework, Synchronized Activations (Sync-ACT), to couple the
visual representation spaces and semantics between ANNs and BNNs in human brain
based on naturalistic functional magnetic resonance imaging (nfMRI) data. With
this approach, we are able to semantically annotate the neurons in ANNs with
biologically meaningful description derived from human brain imaging for the
first time. We evaluated the Sync-ACT framework on two publicly available
movie-watching nfMRI datasets. The experiments demonstrate a) the significant
correlation and similarity of the semantics between the visual representations
in FBNs and those in a variety of convolutional neural networks (CNNs) models;
b) the close relationship between CNN's visual representation similarity to
BNNs and its performance in image classification tasks. Overall, our study
introduces a general and effective paradigm to couple the ANNs and BNNs and
provides novel insights for future studies such as brain-inspired artificial
intelligence.
- Abstract（参考訳）: もともと生物学的ニューラルネットワーク(bnns)に触発された人工ニューラルネットワーク(anns)は、視覚表現学習など多くのタスクで目覚ましい成功を収めている。
しかし、2つの異なるドメインをリンクし結合する効果的なツールの欠如と、ヒト機能的脳ネットワーク(fbns)などのbnnにおける視覚意味論を表現する汎用的かつ効果的なフレームワークの欠如により、annにおける視覚表現とbnnの視覚表現との間に意味的相関/関連が存在するかどうかについては、ほとんど検討されていない。
そこで本研究では,人間の脳内におけるANNとBNNの視覚的表現空間と意味を自然な機能的磁気共鳴画像(nfMRI)データに基づいて結合する,新しい計算フレームワークSync-ACTを提案する。
このアプローチにより、人間の脳画像から生物学的に意味のある記述を初めて、ANNのニューロンに意味論的にアノテートすることができる。
公開された2つのnfMRIデータセット上でSync-ACTフレームワークを評価した。
実験は
a) FBNにおける視覚表現と様々な畳み込みニューラルネットワーク(CNN)モデルにおける意味の有意な相関及び類似性
b) 画像分類作業におけるBNNとCNNの視覚的表現の類似性と性能の密接な関係
全体として、我々の研究は、ANNとBNNを結合するための汎用的で効果的なパラダイムを導入し、脳にインスパイアされた人工知能のような将来の研究に新しい洞察を提供する。
関連論文リスト
- Brain-like Functional Organization within Large Language Models [58.93629121400745]
人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた
最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。
本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。
このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
論文 参考訳（メタデータ） (2024-10-25T13:15:17Z) - Modelling Multimodal Integration in Human Concept Processing with Vision-and-Language Models [7.511284868070148]
人間の意味表現が言語情報と感覚運動情報を統合している証拠が増えている。
マルチモーダル情報の統合が、人間の脳活動とより整合した表現に繋がるかどうかを考察する。
以上の結果から,VLM表現は言語と視覚のみのDNNよりも強く相関し,言語処理と機能的に関連する脳領域で活性化することが明らかとなった。
論文 参考訳（メタデータ） (2024-07-25T10:08:37Z) - Co-learning synaptic delays, weights and adaptation in spiking neural
networks [0.0]
スパイキングニューラルネットワーク(SNN)は、固有の時間処理とスパイクベースの計算のため、人工知能ニューラルネットワーク(ANN)と区別する。
スパイクニューロンを用いたデータ処理は、他の2つの生物学的にインスピレーションを受けたニューロンの特徴と接続重みを協調学習することで向上できることを示す。
論文 参考訳（メタデータ） (2023-09-12T09:13:26Z) - Transferability of coVariance Neural Networks and Application to
Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。
我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。
VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
論文 参考訳（メタデータ） (2023-05-02T22:15:54Z) - Coupling Artificial Neurons in BERT and Biological Neurons in the Human
Brain [9.916033214833407]
本研究は,トランスフォーマーに基づくNLPモデルと言語に対する神経活動をリンクする,新しい,汎用的で効果的なフレームワークを提案する。
実験の結果,(1)ANsとBNsの活性化は有意に同期し,(2)ANsは意味のある言語/意味情報を持ち,BNシグネチャにアンカーし,(3)アンカーされたBNは神経言語学的文脈で解釈可能であることがわかった。
論文 参考訳（メタデータ） (2023-03-27T01:41:48Z) - Predicting Brain Age using Transferable coVariance Neural Networks [119.45320143101381]
我々は最近,サンプル共分散行列で動作する共分散ニューラルネットワーク(VNN)について検討した。
本稿では,大脳皮質厚みデータを用いた脳年齢推定におけるVNNの有用性を示す。
以上の結果から、VNNは脳年齢推定のためのマルチスケールおよびマルチサイト転送性を示すことが明らかとなった。
アルツハイマー病(AD)の脳年齢の文脈では,健常者に対してVNNを用いて予測される脳年齢がADに対して有意に上昇していることから,VNNの出力は解釈可能であることが示された。
論文 参考訳（メタデータ） (2022-10-28T18:58:34Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳（メタデータ） (2022-05-06T03:45:36Z) - Deep Reinforcement Learning Guided Graph Neural Networks for Brain
Network Analysis [61.53545734991802]
本稿では,各脳ネットワークに最適なGNNアーキテクチャを探索する新しい脳ネットワーク表現フレームワークBN-GNNを提案する。
提案するBN-GNNは,脳ネットワーク解析タスクにおける従来のGNNの性能を向上させる。
論文 参考訳（メタデータ） (2022-03-18T07:05:27Z) - Deep Auto-encoder with Neural Response [8.797970797884023]
ニューラルレスポンス(DAE-NR)を用いたディープオートエンコーダと呼ばれるハイブリッドモデルを提案する。
DAE-NRは、視覚野からの情報をANNに組み込んで、より優れた画像再構成と、生物学的および人工ニューロン間の高い神経表現類似性を実現する。
DAE-NRは, 共同学習によって(画像再構成の性能の向上) 生体ニューロンと人工ニューロンとの表現的類似性の向上が可能であることを実証した。
論文 参考訳（メタデータ） (2021-11-30T11:44:17Z) - Joint Embedding of Structural and Functional Brain Networks with Graph
Neural Networks for Mental Illness Diagnosis [17.48272758284748]
グラフニューラルネットワーク(GNN)は,グラフ構造化データを解析するためのデファクトモデルとなっている。
我々はマルチモーダル脳ネットワークのための新しいマルチビューGNNを開発した。
特に、各モダリティを脳ネットワークの視点とみなし、マルチモーダル融合のためのコントラスト学習を採用する。
論文 参考訳（メタデータ） (2021-07-07T13:49:57Z) - Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。
本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。
NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
論文 参考訳（メタデータ） (2020-04-29T01:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。