論文の概要: Brain Decodes Deep Nets

• arxiv url: http://arxiv.org/abs/2312.01280v2
• Date: Sat, 30 Mar 2024 03:30:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-02 14:55:32.052117
• Title: Brain Decodes Deep Nets
• Title（参考訳）: 脳はディープネットをデコードする
• Authors: Huzheng Yang, James Gee, Jianbo Shi,
• Abstract要約: 我々は、脳にマッピングすることで、大きな訓練済み視覚モデルの可視化と解析を行うツールを開発した。 私たちのイノベーションは、画像に反応して脳のfMRI測定を予測する脳エンコーディングの驚くべき利用から生まれます。
• 参考スコア（独自算出の注目度）: 9.302098067235507
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We developed a tool for visualizing and analyzing large pre-trained vision models by mapping them onto the brain, thus exposing their hidden inside. Our innovation arises from a surprising usage of brain encoding: predicting brain fMRI measurements in response to images. We report two findings. First, explicit mapping between the brain and deep-network features across dimensions of space, layers, scales, and channels is crucial. This mapping method, FactorTopy, is plug-and-play for any deep-network; with it, one can paint a picture of the network onto the brain (literally!). Second, our visualization shows how different training methods matter: they lead to remarkable differences in hierarchical organization and scaling behavior, growing with more data or network capacity. It also provides insight into fine-tuning: how pre-trained models change when adapting to small datasets. We found brain-like hierarchically organized network suffer less from catastrophic forgetting after fine-tuned.
• Abstract（参考訳）: 我々は、脳にマッピングすることで、大きな訓練済み視覚モデルの可視化と解析を行うツールを開発し、内部に隠された視覚モデルを明らかにする。 私たちのイノベーションは、画像に反応して脳のfMRI測定を予測する脳エンコーディングの驚くべき利用から生まれます。 我々は2つの発見を報告した。 まず、空間、層、スケール、チャネルの次元にまたがる脳とディープ・ネットワークの機能を明確にマッピングすることが重要です。 FactorTopyというこのマッピング手法は、どんなディープ・ネットワークにもプラグイン&プレイできる。 第二に、私たちの可視化は、異なるトレーニング方法がいかに重要かを示しています。階層的な組織とスケーリングの振る舞いに顕著な違いをもたらし、より多くのデータやネットワーク容量で成長します。 また、小さなデータセットに適応する際に、事前トレーニングされたモデルがどのように変化するか、微調整に関する洞察も提供する。 脳のような階層的なネットワークは、微調整後の破滅的な忘れ込みに悩まされることがわかりました。

関連論文リスト

• Saliency Suppressed, Semantics Surfaced: Visual Transformations in Neural Networks and the Brain [0.0]
  私たちは神経科学からインスピレーションを得て、ニューラルネットワークが情報を低(視覚的満足度)で高(セマンティックな類似性)の抽象レベルでエンコードする方法について光を当てています。 ResNetsは、オブジェクト分類の目的によって訓練された場合、ViTsよりも唾液度情報に敏感であることが分かりました。 我々は、セマンティックエンコーディングがAIと人間の視覚知覚を協調させる重要な要素であることを示し、サリエンシ抑制は非脳的な戦略であることを示した。
  論文  参考訳（メタデータ） (2024-04-29T15:05:42Z)
• Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
  オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。 最初はFlyTracingという名前のデータセットを構築しました。 本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-05T19:45:12Z)
• Connecting metrics for shape-texture knowledge in computer vision [1.7785095623975342]
  深層ニューラルネットワークは、人間が画像の分類ミスを起こさないような、画像の多くの変化の影響を受けやすいままである。 この異なる振る舞いの一部は、視覚タスクで人間とディープニューラルネットワークが使用する機能の種類によって説明できるかもしれない。
  論文  参考訳（メタデータ） (2023-01-25T14:37:42Z)
• Net2Brain: A Toolbox to compare artificial vision models with human brain responses [11.794563225903813]
  グラフィカルおよびコマンドラインのユーザインターフェースツールボックスであるNet2Brainを紹介する。 人工深層ニューラルネットワーク(DNN)と人間の脳記録の表現空間を比較する。 我々はNet2Brainの機能と利点を、認知計算神経科学の仮説の検証にどのように使えるかを示す例で示す。
  論文  参考訳（メタデータ） (2022-08-20T13:10:28Z)
• Contrastive Brain Network Learning via Hierarchical Signed Graph Pooling Model [64.29487107585665]
  脳機能ネットワーク上のグラフ表現学習技術は、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を容易にする。 本稿では,脳機能ネットワークからグラフレベル表現を抽出する階層型グラフ表現学習モデルを提案する。 また、モデルの性能をさらに向上させるために、機能的脳ネットワークデータをコントラスト学習のために拡張する新たな戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-14T20:03:52Z)
• Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
  脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。 本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。 臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-05-06T03:45:36Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• Deep Reinforcement Learning Guided Graph Neural Networks for Brain Network Analysis [61.53545734991802]
  本稿では,各脳ネットワークに最適なGNNアーキテクチャを探索する新しい脳ネットワーク表現フレームワークBN-GNNを提案する。 提案するBN-GNNは,脳ネットワーク解析タスクにおける従来のGNNの性能を向上させる。
  論文  参考訳（メタデータ） (2022-03-18T07:05:27Z)
• Convolutional Neural Networks for cytoarchitectonic brain mapping at large scale [0.33727511459109777]
  今回我々は,ヒト後脳の多数の細胞体染色組織における細胞構造学的領域をマッピングするための新しいワークフローを提案する。 これはDeep Convolutional Neural Network (CNN)に基づいており、アノテーション付きの一対のセクションイメージに基づいてトレーニングされており、その間に多数の注釈のないセクションがある。 新しいワークフローは、セクションの3D再構成を必要とせず、組織学的アーティファクトに対して堅牢である。
  論文  参考訳（メタデータ） (2020-11-25T16:25:13Z)
• Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
  本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。 まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。 第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
  論文  参考訳（メタデータ） (2020-09-10T17:59:10Z)
• Deep Representation Learning For Multimodal Brain Networks [9.567489601729328]
  本稿では,マルチモーダル脳ネットワークを融合させるために,エンドツーエンドの深層グラフ表現学習(Deep Multimodal Brain Networks - DMBN)を提案する。 脳構造ネットワークから機能ネットワークへの高階ネットワークマッピングはノード領域で学習される。 実験結果は,提案手法が他の最先端の深層脳ネットワークモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-19T20:32:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。