論文の概要: Net2Brain: A Toolbox to compare artificial vision models with human
brain responses
- arxiv url: http://arxiv.org/abs/2208.09677v1
- Date: Sat, 20 Aug 2022 13:10:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 12:41:34.667007
- Title: Net2Brain: A Toolbox to compare artificial vision models with human
brain responses
- Title(参考訳): Net2Brain:人工視覚モデルと人間の脳反応を比較するツールボックス
- Authors: Domenic Bersch, Kshitij Dwivedi, Martina Vilas, Radoslaw M. Cichy,
Gemma Roig
- Abstract要約: グラフィカルおよびコマンドラインのユーザインターフェースツールボックスであるNet2Brainを紹介する。
人工深層ニューラルネットワーク(DNN)と人間の脳記録の表現空間を比較する。
我々はNet2Brainの機能と利点を、認知計算神経科学の仮説の検証にどのように使えるかを示す例で示す。
- 参考スコア(独自算出の注目度): 11.794563225903813
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce Net2Brain, a graphical and command-line user interface toolbox
for comparing the representational spaces of artificial deep neural networks
(DNNs) and human brain recordings. While different toolboxes facilitate only
single functionalities or only focus on a small subset of supervised image
classification models, Net2Brain allows the extraction of activations of more
than 600 DNNs trained to perform a diverse range of vision-related tasks (e.g
semantic segmentation, depth estimation, action recognition, etc.), over both
image and video datasets. The toolbox computes the representational
dissimilarity matrices (RDMs) over those activations and compares them to brain
recordings using representational similarity analysis (RSA), weighted RSA, both
in specific ROIs and with searchlight search. In addition, it is possible to
add a new data set of stimuli and brain recordings to the toolbox for
evaluation. We demonstrate the functionality and advantages of Net2Brain with
an example showcasing how it can be used to test hypotheses of cognitive
computational neuroscience.
- Abstract(参考訳): 人工深層ニューラルネットワーク(dnn)と人間の脳記録の表現空間を比較するための,グラフィカルおよびコマンドラインユーザインタフェースツールボックスであるnet2brainを紹介する。
異なるツールボックスは単一の機能のみを促進するか、監督された画像分類モデルの小さなサブセットにのみフォーカスするが、Net2Brainは600以上のDNNのアクティベーションを抽出して、画像とビデオの両方のデータセット上で、様々な視覚関連タスク(セマンティックセグメンテーション、深さ推定、アクション認識など)を実行するように訓練することができる。
ツールボックスはこれらのアクティベーション上で表現相似行列(RDM)を計算し、特定のROIとサーチライト検索の両方において、表現相似分析(RSA)、重み付きRSAを用いて脳記録と比較する。
さらに、ツールボックスに新しい刺激と脳記録のデータセットを追加して評価することが可能である。
我々はNet2Brainの機能と利点を、認知計算神経科学の仮説の検証にどのように使えるかを示す例で示す。
関連論文リスト
- Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。
最初はFlyTracingという名前のデータセットを構築しました。
本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-05T19:45:12Z) - Brain Decodes Deep Nets [10.454626019020415]
我々は、脳にマッピングすることで、大きな訓練済み視覚モデルの可視化と解析を行うツールを開発した。
私たちのイノベーションは、画像に反応して脳のfMRI測定を予測する脳エンコーディングの驚くべき利用から生まれます。
論文 参考訳(メタデータ) (2023-12-03T04:36:04Z) - Identifying Interpretable Visual Features in Artificial and Biological
Neural Systems [3.604033202771937]
ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。
多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。
本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
論文 参考訳(メタデータ) (2023-10-17T17:41:28Z) - Semantic Brain Decoding: from fMRI to conceptually similar image
reconstruction of visual stimuli [0.29005223064604074]
本稿では,意味的・文脈的類似性にも依存する脳復号法を提案する。
我々は、自然視のfMRIデータセットを使用し、人間の視覚におけるボトムアップとトップダウンの両方のプロセスの存在にインスパイアされたディープラーニングデコードパイプラインを作成します。
視覚刺激の再現は, それまでの文献において, 本来の内容とセマンティックレベルで非常によく一致し, 芸術の状態を超越している。
論文 参考訳(メタデータ) (2022-12-13T16:54:08Z) - Coupling Visual Semantics of Artificial Neural Networks and Human Brain
Function via Synchronized Activations [13.956089436100106]
本稿では,ANNとBNNの視覚的表現空間と意味を結合する新しい計算フレームワーク,Sync-ACTを提案する。
このアプローチにより、人間の脳画像から生物学的に意味のある記述を導き、ANNのニューロンに意味論的に注釈を付けることができる。
論文 参考訳(メタデータ) (2022-06-22T03:32:17Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳(メタデータ) (2022-05-06T03:45:36Z) - Deep Reinforcement Learning Guided Graph Neural Networks for Brain
Network Analysis [61.53545734991802]
本稿では,各脳ネットワークに最適なGNNアーキテクチャを探索する新しい脳ネットワーク表現フレームワークBN-GNNを提案する。
提案するBN-GNNは,脳ネットワーク解析タスクにおける従来のGNNの性能を向上させる。
論文 参考訳(メタデータ) (2022-03-18T07:05:27Z) - Explainability Tools Enabling Deep Learning in Future In-Situ Real-Time
Planetary Explorations [58.720142291102135]
ディープラーニング(DL)は、効果的な機械学習とコンピュータビジョン技術であることが証明されている。
ディープニューラルネットワーク(DNN)アーキテクチャのほとんどは複雑すぎて'ブラックボックス'と見なされている。
本稿では,各ニューロンの出力クラスへの属性を記述するために,積分勾配を用いた。
DNNのブラックボックスを開くための説明可能性ツールセット(ET)を提供するので、分類へのニューロンの個々の貢献をランク付けし視覚化することができる。
論文 参考訳(メタデータ) (2022-01-15T07:10:00Z) - Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。
本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。
ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
論文 参考訳(メタデータ) (2021-12-02T12:45:46Z) - Interpretation of 3D CNNs for Brain MRI Data Classification [56.895060189929055]
T1脳MRIにおける拡散テンソル画像の男女差について,これまでの知見を拡張した。
ボクセルの3次元CNN解釈を3つの解釈法の結果と比較する。
論文 参考訳(メタデータ) (2020-06-20T17:56:46Z) - On Tractable Representations of Binary Neural Networks [23.50970665150779]
我々は、二項ニューラルネットワークの決定関数を、順序付き二項決定図(OBDD)や意味決定図(SDD)などの抽出可能な表現にコンパイルすることを検討する。
実験では,SDDとしてニューラルネットワークのコンパクトな表現を得ることが可能であることを示す。
論文 参考訳(メタデータ) (2020-04-05T03:21:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。