論文の概要: Net2Brain: A Toolbox to compare artificial vision models with human
brain responses
- arxiv url: http://arxiv.org/abs/2208.09677v1
- Date: Sat, 20 Aug 2022 13:10:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 12:41:34.667007
- Title: Net2Brain: A Toolbox to compare artificial vision models with human
brain responses
- Title(参考訳): Net2Brain:人工視覚モデルと人間の脳反応を比較するツールボックス
- Authors: Domenic Bersch, Kshitij Dwivedi, Martina Vilas, Radoslaw M. Cichy,
Gemma Roig
- Abstract要約: グラフィカルおよびコマンドラインのユーザインターフェースツールボックスであるNet2Brainを紹介する。
人工深層ニューラルネットワーク(DNN)と人間の脳記録の表現空間を比較する。
我々はNet2Brainの機能と利点を、認知計算神経科学の仮説の検証にどのように使えるかを示す例で示す。
- 参考スコア(独自算出の注目度): 11.794563225903813
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce Net2Brain, a graphical and command-line user interface toolbox
for comparing the representational spaces of artificial deep neural networks
(DNNs) and human brain recordings. While different toolboxes facilitate only
single functionalities or only focus on a small subset of supervised image
classification models, Net2Brain allows the extraction of activations of more
than 600 DNNs trained to perform a diverse range of vision-related tasks (e.g
semantic segmentation, depth estimation, action recognition, etc.), over both
image and video datasets. The toolbox computes the representational
dissimilarity matrices (RDMs) over those activations and compares them to brain
recordings using representational similarity analysis (RSA), weighted RSA, both
in specific ROIs and with searchlight search. In addition, it is possible to
add a new data set of stimuli and brain recordings to the toolbox for
evaluation. We demonstrate the functionality and advantages of Net2Brain with
an example showcasing how it can be used to test hypotheses of cognitive
computational neuroscience.
- Abstract(参考訳): 人工深層ニューラルネットワーク(dnn)と人間の脳記録の表現空間を比較するための,グラフィカルおよびコマンドラインユーザインタフェースツールボックスであるnet2brainを紹介する。
異なるツールボックスは単一の機能のみを促進するか、監督された画像分類モデルの小さなサブセットにのみフォーカスするが、Net2Brainは600以上のDNNのアクティベーションを抽出して、画像とビデオの両方のデータセット上で、様々な視覚関連タスク(セマンティックセグメンテーション、深さ推定、アクション認識など)を実行するように訓練することができる。
ツールボックスはこれらのアクティベーション上で表現相似行列(RDM)を計算し、特定のROIとサーチライト検索の両方において、表現相似分析(RSA)、重み付きRSAを用いて脳記録と比較する。
さらに、ツールボックスに新しい刺激と脳記録のデータセットを追加して評価することが可能である。
我々はNet2Brainの機能と利点を、認知計算神経科学の仮説の検証にどのように使えるかを示す例で示す。
関連論文リスト
- Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文 参考訳(メタデータ) (2024-06-07T08:32:30Z) - BRACTIVE: A Brain Activation Approach to Human Visual Brain Learning [11.517021103782229]
本稿では,脳活動ネットワーク(BRACTIVE)について紹介する。
BRACTIVEの主な目的は、被験者の視覚的特徴をfMRI信号を介して対応する脳表現と整合させることである。
実験の結果, BRACTIVEは顔や身体選択領域など, 個人特有の関心領域を効果的に識別できることがわかった。
論文 参考訳(メタデータ) (2024-05-29T06:50:13Z) - Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。
最初はFlyTracingという名前のデータセットを構築しました。
本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-05T19:45:12Z) - Brain Decodes Deep Nets [9.302098067235507]
我々は、脳にマッピングすることで、大きな訓練済み視覚モデルの可視化と解析を行うツールを開発した。
私たちのイノベーションは、画像に反応して脳のfMRI測定を予測する脳エンコーディングの驚くべき利用から生まれます。
論文 参考訳(メタデータ) (2023-12-03T04:36:04Z) - Coupling Visual Semantics of Artificial Neural Networks and Human Brain
Function via Synchronized Activations [13.956089436100106]
本稿では,ANNとBNNの視覚的表現空間と意味を結合する新しい計算フレームワーク,Sync-ACTを提案する。
このアプローチにより、人間の脳画像から生物学的に意味のある記述を導き、ANNのニューロンに意味論的に注釈を付けることができる。
論文 参考訳(メタデータ) (2022-06-22T03:32:17Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳(メタデータ) (2022-05-06T03:45:36Z) - Deep Reinforcement Learning Guided Graph Neural Networks for Brain
Network Analysis [61.53545734991802]
本稿では,各脳ネットワークに最適なGNNアーキテクチャを探索する新しい脳ネットワーク表現フレームワークBN-GNNを提案する。
提案するBN-GNNは,脳ネットワーク解析タスクにおける従来のGNNの性能を向上させる。
論文 参考訳(メタデータ) (2022-03-18T07:05:27Z) - Explainability Tools Enabling Deep Learning in Future In-Situ Real-Time
Planetary Explorations [58.720142291102135]
ディープラーニング(DL)は、効果的な機械学習とコンピュータビジョン技術であることが証明されている。
ディープニューラルネットワーク(DNN)アーキテクチャのほとんどは複雑すぎて'ブラックボックス'と見なされている。
本稿では,各ニューロンの出力クラスへの属性を記述するために,積分勾配を用いた。
DNNのブラックボックスを開くための説明可能性ツールセット(ET)を提供するので、分類へのニューロンの個々の貢献をランク付けし視覚化することができる。
論文 参考訳(メタデータ) (2022-01-15T07:10:00Z) - Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。
本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。
ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
論文 参考訳(メタデータ) (2021-12-02T12:45:46Z) - Interpretation of 3D CNNs for Brain MRI Data Classification [56.895060189929055]
T1脳MRIにおける拡散テンソル画像の男女差について,これまでの知見を拡張した。
ボクセルの3次元CNN解釈を3つの解釈法の結果と比較する。
論文 参考訳(メタデータ) (2020-06-20T17:56:46Z) - On Tractable Representations of Binary Neural Networks [23.50970665150779]
我々は、二項ニューラルネットワークの決定関数を、順序付き二項決定図(OBDD)や意味決定図(SDD)などの抽出可能な表現にコンパイルすることを検討する。
実験では,SDDとしてニューラルネットワークのコンパクトな表現を得ることが可能であることを示す。
論文 参考訳(メタデータ) (2020-04-05T03:21:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。