論文の概要: Category-Selective Neurons in Deep Networks: Comparing Purely Visual and Visual-Language Models

• arxiv url: http://arxiv.org/abs/2502.16456v1
• Date: Sun, 23 Feb 2025 06:15:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:52:41.667670
• Title: Category-Selective Neurons in Deep Networks: Comparing Purely Visual and Visual-Language Models
• Title（参考訳）: ディープネットワークにおけるカテゴリー選択ニューロン:純粋視覚モデルと視覚言語モデルの比較
• Authors: Zitong Lu, Yuxin Wang,
• Abstract要約: ヒト脳のカテゴリー選択領域は、ハイレベルな視覚処理において重要な役割を担っている。 人工ニューラルネットワーク(ANN)が類似のカテゴリー選択性ニューロンを示すかどうかを検討する。 本研究は、ANNが生物学的ビジョンをどのように反映し、マルチモーダル学習がカテゴリー選択表現にどのように影響するかについての知見を提供する。
• 参考スコア（独自算出の注目度）: 23.309064032922507
• License:
• Abstract: Category-selective regions in the human brain, such as the fusiform face area (FFA), extrastriate body area (EBA), parahippocampal place area (PPA), and visual word form area (VWFA), play a crucial role in high-level visual processing. Here, we investigate whether artificial neural networks (ANNs) exhibit similar category-selective neurons and how these neurons vary across model layers and between purely visual and vision-language models. Inspired by fMRI functional localizer experiments, we presented images from different categories (faces, bodies, scenes, words, scrambled scenes, and scrambled words) to deep networks and identified category-selective neurons using statistical criteria. Comparing ResNet and the structurally controlled ResNet-based CLIP model, we found that both models contain category-selective neurons, with their proportion increasing across layers, mirroring category selectivity in higher-level visual brain regions. However, CLIP exhibited a higher proportion but lower specificity of category-selective neurons compared to ResNet. Additionally, CLIP's category-selective neurons were more evenly distributed across feature maps and demonstrated greater representational consistency across layers. These findings suggest that language learning increases the number of category-selective neurons while reducing their selectivity strength, reshaping visual representations in deep networks. Our study provides insights into how ANNs mirror biological vision and how multimodal learning influences category-selective representations.
• Abstract（参考訳）: ファシフォーム顔領域(FFA)、外骨格体領域(EBA)、海馬傍位置領域(PPA)、視覚言葉形成領域(VWFA)などのヒト脳のカテゴリー選択領域は、ハイレベルな視覚処理において重要な役割を担っている。 本稿では,ANNが類似のカテゴリー選択性ニューロンを呈し,これらのニューロンがモデル層や純粋視覚モデルと視覚言語モデルの間でどのように変化するかを検討する。 fMRI機能ローカライザ実験に触発されて、深層ネットワークに異なるカテゴリ(顔、体、シーン、言葉、スクランブルシーン、スクランブルワード)の画像を提示し、統計的基準を用いてカテゴリ選択ニューロンを同定した。 ResNetと構造制御されたResNetベースのCLIPモデルと比較すると、どちらのモデルもカテゴリ選択ニューロンを含んでおり、その割合は層間で増加しており、高レベルの視覚脳領域におけるカテゴリ選択性を反映していることがわかった。 しかし、CLIPはResNetと比較して、カテゴリー選択性ニューロンの比率は高かったが、特異性は低かった。 さらに、CLIPのカテゴリ選択性ニューロンは特徴マップに均等に分散し、層間での表現整合性を示した。 これらの結果から, 言語学習は, カテゴリー選択ニューロンの数を増やしつつ, 選択性の強さを低下させ, 深層ネットワークにおける視覚的表現を再構築することを示唆した。 本研究は、ANNが生物学的ビジョンをどのように反映し、マルチモーダル学習がカテゴリー選択表現にどのように影響するかについての知見を提供する。

関連論文リスト

• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
  我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。 分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• Finding Shared Decodable Concepts and their Negations in the Brain [4.111712524255376]
  我々は、自然視画像観察中に脳の反応をCLIP埋め込みにマッピングする非常に正確なコントラストモデルを訓練する。 次に、DBSCANクラスタリングアルゴリズムの新たな適応を用いて、参加者固有のコントラストモデルパラメータをクラスタリングする。 各SDCクラスタに最も多く,最も関連付けられていない画像を調べることで,各SDCのセマンティック特性についてさらなる知見が得られる。
  論文  参考訳（メタデータ） (2024-05-27T21:28:26Z)
• Parallel Backpropagation for Shared-Feature Visualization [36.31730251757713]
  最近の研究は、いくつかのカテゴリー外刺激が高レベルの視覚脳領域のニューロンを活性化することを示した。 これは、他の画像にもある好みのクラスに共通する視覚的特徴のためかもしれない。 本稿では,これらの特徴を可視化するためのディープラーニングに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-16T05:56:03Z)
• SPIN: Sparsifying and Integrating Internal Neurons in Large Language Models for Text Classification [6.227343685358882]
  本稿では,テキスト分類のための大規模言語モデルの中間層の内部ニューロンを分散・統合するモデルに依存しないフレームワークを提案する。 SPINはテキスト分類の精度、効率、解釈可能性を大幅に改善する。
  論文  参考訳（メタデータ） (2023-11-27T16:28:20Z)
• Deep Spiking Neural Networks with High Representation Similarity Model Visual Pathways of Macaque and Mouse [17.545204435882816]
  スパイクニューラルネットワーク(SNN)は、スパイクニューロンがスパイクの時系列で情報をエンコードしているため、生物学的に妥当なモデルである。 本研究では,視覚野を深部SNNで初めてモデル化し,また最先端の深部CNNとViTで比較した。 SNNのほぼ全ての類似度スコアは、平均6.6%のCNNよりも高い。
  論文  参考訳（メタデータ） (2023-03-09T13:07:30Z)
• Prune and distill: similar reformatting of image information along rat visual cortex and deep neural networks [61.60177890353585]
  深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。 ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。 我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
  論文  参考訳（メタデータ） (2022-05-27T08:06:40Z)
• Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
  脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。 本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。 臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-05-06T03:45:36Z)
• Natural Language Descriptions of Deep Visual Features [50.270035018478666]
  オープンエンド,コンポジション,自然言語による記述で自動的にニューロンをラベル付けする手法を提案する。 我々はMILANを用いて、視覚モデルにおける属性、カテゴリ、関係情報を選択的に選択したニューロンの分布と重要性を特徴付ける。 また、これらの特徴を曖昧にすることを目的としたデータセットでトレーニングされたモデルにおいて、人種や性別といった保護されたカテゴリに敏感な、監査用のMILANも使用しています。
  論文  参考訳（メタデータ） (2022-01-26T18:48:02Z)
• Modeling Category-Selective Cortical Regions with Topographic Variational Autoencoders [72.15087604017441]
  カテゴリー選択性(英: Category-Selectivity)は、大脳皮質の特定の空間的局所化領域が特定の限られたカテゴリーからの刺激に対して頑健かつ選択的に反応する傾向にあるという観察を記述している。 新たに導入されたTopographic Variational Autoencoderを利用して、そのような局所化カテゴリ選択性の出現を教師なしでモデル化する。 本研究では,ヒト腹側頭皮質の観察に類似した,より抽象的なカテゴリのネストされた空間的階層が得られたことを示す予備的な結果を示す。
  論文  参考訳（メタデータ） (2021-10-25T11:37:41Z)
• The Selectivity and Competition of the Mind's Eye in Visual Perception [8.411385346896411]
  階層的競争の形で横方向と上下方向のフィードバックを組み込んだ,新しい計算モデルを構築した。 これらの要素が脳内の高レベル領域の情報フローと選択性を説明するのに役立つだけでなく、これらの神経機構が新しい分類枠組みの基礎となることも示している。
  論文  参考訳（メタデータ） (2020-11-23T01:55:46Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。