論文の概要: Brain Decodes Deep Nets

• arxiv url: http://arxiv.org/abs/2312.01280v1
• Date: Sun, 3 Dec 2023 04:36:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 18:21:42.420369
• Title: Brain Decodes Deep Nets
• Title（参考訳）: 脳がディープネットをデコード
• Authors: Huzheng Yang, James Gee, Jianbo Shi
• Abstract要約: 我々は、脳にマッピングすることで、大きな訓練済み視覚モデルの可視化と解析を行うツールを開発した。 私たちのイノベーションは、画像に反応して脳のfMRI測定を予測する脳エンコーディングの驚くべき利用から生まれます。
• 参考スコア（独自算出の注目度）: 10.454626019020415
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We developed a tool for visualizing and analyzing large pre-trained vision models by mapping them onto the brain, thus exposing their hidden inside. Our innovation arises from a surprising usage of brain encoding: predicting brain fMRI measurements in response to images. We report two findings. First, explicit mapping between the brain and deep-network features across dimensions of space, layers, scales, and channels is crucial. This mapping method, FactorTopy, is plug-and-play for any deep-network; with it, one can paint a picture of the network onto the brain (literally!). Second, our visualization shows how different training methods matter: they lead to remarkable differences in hierarchical organization and scaling behavior, growing with more data or network capacity. It also provides insight into finetuning: how pre-trained models change when adapting to small datasets. Our method is practical: only 3K images are enough to learn a network-to-brain mapping.
• Abstract（参考訳）: 脳にマッピングすることで、大きな事前学習された視覚モデルを可視化し、分析するツールを開発した。 私たちのイノベーションは、画像に反応して脳のfMRI測定を予測する脳エンコーディングの驚くべき利用から生まれます。 2つの発見を報告する。 まず、空間、層、スケール、チャネルの次元にまたがる脳と深層ネットワークの機能を明確にマッピングすることが重要です。 このマッピング手法、 factortopyはどんなディープネットワークに対してもプラグアンドプレイで、ネットワークの絵を脳(つまり! 第2に、異なるトレーニング手法がいかに重要かの可視化は、階層的な組織とスケーリングの振る舞いに顕著な違いをもたらし、より多くのデータやネットワーク容量で成長させます。 また、小さなデータセットへの適応時に事前トレーニングされたモデルがどのように変化するか、微調整に関する洞察も提供する。 提案手法は,ネットワーク間マッピングを学習するには3K画像だけで十分である。

関連論文リスト

• Brain-like emergent properties in deep networks: impact of network architecture, datasets and training [3.1893819671093775]
  ディープネットワークが急速に向上しているにもかかわらず、実際のビジョンタスクでは人間よりも優れています。 このパラドックス的な一般化の欠如は、ディープネットワークをより脳に似たものにすることで対処できる。 深層ネットワーク上でテスト可能な知覚的・神経的創発的特性について報告する。
  論文  参考訳（メタデータ） (2024-11-25T12:22:36Z)
• Decoding Visual Experience and Mapping Semantics through Whole-Brain Analysis Using fMRI Foundation Models [10.615012396285337]
  我々は脳全体の活性化マップを組み込むことで視覚過程の理解を高めるアルゴリズムを開発した。 まず,視覚処理を復号化するための最先端手法と比較し,予測意味精度を43%向上させた。
  論文  参考訳（メタデータ） (2024-11-11T16:51:17Z)
• Saliency Suppressed, Semantics Surfaced: Visual Transformations in Neural Networks and the Brain [0.0]
  私たちは神経科学からインスピレーションを得て、ニューラルネットワークが情報を低(視覚的満足度)で高(セマンティックな類似性)の抽象レベルでエンコードする方法について光を当てています。 ResNetsは、オブジェクト分類の目的によって訓練された場合、ViTsよりも唾液度情報に敏感であることが分かりました。 我々は、セマンティックエンコーディングがAIと人間の視覚知覚を協調させる重要な要素であることを示し、サリエンシ抑制は非脳的な戦略であることを示した。
  論文  参考訳（メタデータ） (2024-04-29T15:05:42Z)
• Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
  オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。 最初はFlyTracingという名前のデータセットを構築しました。 本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-05T19:45:12Z)
• Net2Brain: A Toolbox to compare artificial vision models with human brain responses [11.794563225903813]
  グラフィカルおよびコマンドラインのユーザインターフェースツールボックスであるNet2Brainを紹介する。 人工深層ニューラルネットワーク(DNN)と人間の脳記録の表現空間を比較する。 我々はNet2Brainの機能と利点を、認知計算神経科学の仮説の検証にどのように使えるかを示す例で示す。
  論文  参考訳（メタデータ） (2022-08-20T13:10:28Z)
• Contrastive Brain Network Learning via Hierarchical Signed Graph Pooling Model [64.29487107585665]
  脳機能ネットワーク上のグラフ表現学習技術は、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を容易にする。 本稿では,脳機能ネットワークからグラフレベル表現を抽出する階層型グラフ表現学習モデルを提案する。 また、モデルの性能をさらに向上させるために、機能的脳ネットワークデータをコントラスト学習のために拡張する新たな戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-14T20:03:52Z)
• Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
  脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。 本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。 臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-05-06T03:45:36Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• Deep Reinforcement Learning Guided Graph Neural Networks for Brain Network Analysis [61.53545734991802]
  本稿では,各脳ネットワークに最適なGNNアーキテクチャを探索する新しい脳ネットワーク表現フレームワークBN-GNNを提案する。 提案するBN-GNNは,脳ネットワーク解析タスクにおける従来のGNNの性能を向上させる。
  論文  参考訳（メタデータ） (2022-03-18T07:05:27Z)
• Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
  本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。 まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。 第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
  論文  参考訳（メタデータ） (2020-09-10T17:59:10Z)
• Deep Representation Learning For Multimodal Brain Networks [9.567489601729328]
  本稿では,マルチモーダル脳ネットワークを融合させるために,エンドツーエンドの深層グラフ表現学習(Deep Multimodal Brain Networks - DMBN)を提案する。 脳構造ネットワークから機能ネットワークへの高階ネットワークマッピングはノード領域で学習される。 実験結果は,提案手法が他の最先端の深層脳ネットワークモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-19T20:32:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。