論文の概要: Brain Decodes Deep Nets
- arxiv url: http://arxiv.org/abs/2312.01280v1
- Date: Sun, 3 Dec 2023 04:36:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 18:21:42.420369
- Title: Brain Decodes Deep Nets
- Title(参考訳): 脳がディープネットをデコード
- Authors: Huzheng Yang, James Gee, Jianbo Shi
- Abstract要約: 我々は、脳にマッピングすることで、大きな訓練済み視覚モデルの可視化と解析を行うツールを開発した。
私たちのイノベーションは、画像に反応して脳のfMRI測定を予測する脳エンコーディングの驚くべき利用から生まれます。
- 参考スコア(独自算出の注目度): 10.454626019020415
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We developed a tool for visualizing and analyzing large pre-trained vision
models by mapping them onto the brain, thus exposing their hidden inside. Our
innovation arises from a surprising usage of brain encoding: predicting brain
fMRI measurements in response to images. We report two findings. First,
explicit mapping between the brain and deep-network features across dimensions
of space, layers, scales, and channels is crucial. This mapping method,
FactorTopy, is plug-and-play for any deep-network; with it, one can paint a
picture of the network onto the brain (literally!). Second, our visualization
shows how different training methods matter: they lead to remarkable
differences in hierarchical organization and scaling behavior, growing with
more data or network capacity. It also provides insight into finetuning: how
pre-trained models change when adapting to small datasets. Our method is
practical: only 3K images are enough to learn a network-to-brain mapping.
- Abstract(参考訳): 脳にマッピングすることで、大きな事前学習された視覚モデルを可視化し、分析するツールを開発した。
私たちのイノベーションは、画像に反応して脳のfMRI測定を予測する脳エンコーディングの驚くべき利用から生まれます。
2つの発見を報告する。
まず、空間、層、スケール、チャネルの次元にまたがる脳と深層ネットワークの機能を明確にマッピングすることが重要です。
このマッピング手法、 factortopyはどんなディープネットワークに対してもプラグアンドプレイで、ネットワークの絵を脳(つまり!
第2に、異なるトレーニング手法がいかに重要かの可視化は、階層的な組織とスケーリングの振る舞いに顕著な違いをもたらし、より多くのデータやネットワーク容量で成長させます。
また、小さなデータセットへの適応時に事前トレーニングされたモデルがどのように変化するか、微調整に関する洞察も提供する。
提案手法は,ネットワーク間マッピングを学習するには3K画像だけで十分である。
関連論文リスト
- Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。
最初はFlyTracingという名前のデータセットを構築しました。
本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-05T19:45:12Z) - Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。
提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。
生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
論文 参考訳(メタデータ) (2023-05-19T09:57:19Z) - Formal Conceptual Views in Neural Networks [0.0]
本稿では,ニューラルネットワークの概念的視点,特に多値・記号的視点の2つの概念を紹介する。
我々は、ImageNetとFruit-360データセットの異なる実験を通して、新しいビューの概念的表現性をテストする。
本研究では,ニューロンからの人間の理解可能なルールの帰納的学習に概念的視点が適用可能であることを実証する。
論文 参考訳(メタデータ) (2022-09-27T16:38:24Z) - Net2Brain: A Toolbox to compare artificial vision models with human
brain responses [11.794563225903813]
グラフィカルおよびコマンドラインのユーザインターフェースツールボックスであるNet2Brainを紹介する。
人工深層ニューラルネットワーク(DNN)と人間の脳記録の表現空間を比較する。
我々はNet2Brainの機能と利点を、認知計算神経科学の仮説の検証にどのように使えるかを示す例で示す。
論文 参考訳(メタデータ) (2022-08-20T13:10:28Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳(メタデータ) (2022-05-06T03:45:36Z) - Deep Reinforcement Learning Guided Graph Neural Networks for Brain
Network Analysis [61.53545734991802]
本稿では,各脳ネットワークに最適なGNNアーキテクチャを探索する新しい脳ネットワーク表現フレームワークBN-GNNを提案する。
提案するBN-GNNは,脳ネットワーク解析タスクにおける従来のGNNの性能を向上させる。
論文 参考訳(メタデータ) (2022-03-18T07:05:27Z) - Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。
まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。
第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
論文 参考訳(メタデータ) (2020-09-10T17:59:10Z) - Deep Representation Learning For Multimodal Brain Networks [9.567489601729328]
本稿では,マルチモーダル脳ネットワークを融合させるために,エンドツーエンドの深層グラフ表現学習(Deep Multimodal Brain Networks - DMBN)を提案する。
脳構造ネットワークから機能ネットワークへの高階ネットワークマッピングはノード領域で学習される。
実験結果は,提案手法が他の最先端の深層脳ネットワークモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-07-19T20:32:05Z) - Interpretation of 3D CNNs for Brain MRI Data Classification [56.895060189929055]
T1脳MRIにおける拡散テンソル画像の男女差について,これまでの知見を拡張した。
ボクセルの3次元CNN解釈を3つの解釈法の結果と比較する。
論文 参考訳(メタデータ) (2020-06-20T17:56:46Z) - Learning Depth With Very Sparse Supervision [57.911425589947314]
本稿では, 環境との相互作用を通じて, 知覚が世界の3次元特性と結合するという考えを考察する。
我々は、環境と対話するロボットが利用できるような、特殊なグローバルローカルネットワークアーキテクチャを訓練する。
いくつかのデータセットの実験では、画像ピクセルの1つでも基底真理が利用できる場合、提案されたネットワークは、最先端のアプローチよりも22.5%の精度でモノクロの深度推定を学習できることを示している。
論文 参考訳(メタデータ) (2020-03-02T10:44:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。