論文の概要: Parallel Backpropagation for Shared-Feature Visualization

• arxiv url: http://arxiv.org/abs/2405.09827v2
• Date: Mon, 28 Oct 2024 08:00:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:16:22.773259
• Title: Parallel Backpropagation for Shared-Feature Visualization
• Title（参考訳）: 共有機能可視化のための並列バックプロパゲーション
• Authors: Alexander Lappe, Anna Bognár, Ghazaleh Ghamkhari Nejad, Albert Mukovskiy, Lucas Martini, Martin A. Giese, Rufin Vogels,
• Abstract要約: 最近の研究は、いくつかのカテゴリー外刺激が高レベルの視覚脳領域のニューロンを活性化することを示した。 これは、他の画像にもある好みのクラスに共通する視覚的特徴のためかもしれない。 本稿では,これらの特徴を可視化するためのディープラーニングに基づくアプローチを提案する。
• 参考スコア（独自算出の注目度）: 36.31730251757713
• License:
• Abstract: High-level visual brain regions contain subareas in which neurons appear to respond more strongly to examples of a particular semantic category, like faces or bodies, rather than objects. However, recent work has shown that while this finding holds on average, some out-of-category stimuli also activate neurons in these regions. This may be due to visual features common among the preferred class also being present in other images. Here, we propose a deep-learning-based approach for visualizing these features. For each neuron, we identify relevant visual features driving its selectivity by modelling responses to images based on latent activations of a deep neural network. Given an out-of-category image which strongly activates the neuron, our method first identifies a reference image from the preferred category yielding a similar feature activation pattern. We then backpropagate latent activations of both images to the pixel level, while enhancing the identified shared dimensions and attenuating non-shared features. The procedure highlights image regions containing shared features driving responses of the model neuron. We apply the algorithm to novel recordings from body-selective regions in macaque IT cortex in order to understand why some images of objects excite these neurons. Visualizations reveal object parts which resemble parts of a macaque body, shedding light on neural preference of these objects.
• Abstract（参考訳）: 高レベルの視覚脳領域は、ニューロンが物体ではなく、顔や体のような特定の意味カテゴリーの例に強く反応しているように見える亜領域を含んでいる。 しかし、最近の研究によると、この発見は平均的に成り立つものの、いくつかのカテゴリー外刺激はこれらの領域のニューロンを活性化する。 これは、他の画像にもある好みのクラスに共通する視覚的特徴のためかもしれない。 本稿では,これらの特徴を可視化するためのディープラーニングに基づくアプローチを提案する。 各ニューロンに対して、深部ニューラルネットワークの潜伏活性化に基づいて、画像に対する応答をモデル化することにより、その選択性を駆動する関連する視覚的特徴を特定する。 ニューロンを強く活性化する領域外画像が与えられた場合、本手法はまず、類似した特徴活性化パターンを呈する好ましいカテゴリから参照画像を特定する。 次に,両画像の潜時活性化を画素レベルに戻すとともに,識別された共有次元を向上し,非共有特徴を減衰させる。 この手順は、モデルニューロンの共有特徴駆動応答を含む画像領域を強調する。 本アルゴリズムは,マカク性IT大脳皮質の身体選択領域から得られた記録に応用し,なぜ物体の画像がニューロンを興奮させるのかを解明する。 可視化によって、マカクの体の一部に似た物体の部分が、これらの物体の神経的な嗜好に光を放ちます。

関連論文リスト

• Brain Mapping with Dense Features: Grounding Cortical Semantic Selectivity in Natural Images With Vision Transformers [5.265058307999745]
  本稿では,脳内視覚概念を分離するBrainSAILを紹介する。 BrainSAILは、事前訓練された視覚モデルから意味的に一貫性があり、密集した空間的特徴を利用する。 カテゴリー選択性のある大脳皮質領域におけるBrainSAILの評価を行った。
  論文  参考訳（メタデータ） (2024-10-07T17:59:45Z)
• Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
  CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。 ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。 以上の結果から,ニューロンのスケーラブルな理解は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-06T17:59:52Z)
• Finding Shared Decodable Concepts and their Negations in the Brain [4.111712524255376]
  我々は、自然視画像観察中に脳の反応をCLIP埋め込みにマッピングする非常に正確なコントラストモデルを訓練する。 次に、DBSCANクラスタリングアルゴリズムの新たな適応を用いて、参加者固有のコントラストモデルパラメータをクラスタリングする。 各SDCクラスタに最も多く,最も関連付けられていない画像を調べることで,各SDCのセマンティック特性についてさらなる知見が得られる。
  論文  参考訳（メタデータ） (2024-05-27T21:28:26Z)
• Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
  オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。 最初はFlyTracingという名前のデータセットを構築しました。 本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-05T19:45:12Z)
• Prune and distill: similar reformatting of image information along rat visual cortex and deep neural networks [61.60177890353585]
  深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。 ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。 我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
  論文  参考訳（メタデータ） (2022-05-27T08:06:40Z)
• Drop, Swap, and Generate: A Self-Supervised Approach for Generating Neural Activity [33.06823702945747]
  我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。 このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。 我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-03T16:39:43Z)
• Object Based Attention Through Internal Gating [4.941630596191806]
  本稿では,物体に基づく注目のニューラルネットワークモデルを提案する。 私たちのモデルは、トップダウンとリカレントの両方に注意が向けられる方法を捉えています。 我々のモデルは神経科学からのさまざまな発見を再現している。
  論文  参考訳（メタデータ） (2021-06-08T17:20:50Z)
• The Selectivity and Competition of the Mind's Eye in Visual Perception [8.411385346896411]
  階層的競争の形で横方向と上下方向のフィードバックを組み込んだ,新しい計算モデルを構築した。 これらの要素が脳内の高レベル領域の情報フローと選択性を説明するのに役立つだけでなく、これらの神経機構が新しい分類枠組みの基礎となることも示している。
  論文  参考訳（メタデータ） (2020-11-23T01:55:46Z)
• Fooling the primate brain with minimal, targeted image manipulation [67.78919304747498]
  本稿では、行動に反映される神経活動と知覚の両方の変化をもたらす、最小限の標的画像摂動を生成するための一連の手法を提案する。 我々の研究は、敵対的攻撃、すなわち最小限のターゲットノイズによる画像の操作で同じ目標を共有し、ANNモデルに画像の誤分類を誘導する。
  論文  参考訳（メタデータ） (2020-11-11T08:30:54Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。