論文の概要: Finding Concept Representations in Neural Networks with Self-Organizing Maps

• arxiv url: http://arxiv.org/abs/2312.05864v1
• Date: Sun, 10 Dec 2023 12:10:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 18:13:32.154820
• Title: Finding Concept Representations in Neural Networks with Self-Organizing Maps
• Title（参考訳）: 自己組織化マップを用いたニューラルネットワークの概念表現の探索
• Authors: Mathieu d'Aquin
• Abstract要約: ニューラルネットワークの層活性化が抽象概念の神経表現にどのように対応するかを調べるために,自己組織化マップをどのように利用できるかを示す。 実験の結果, 概念の活性化マップの相対エントロピーは適切な候補であり, 概念の神経表現を同定し, 特定するための方法論として利用できることがわかった。
• 参考スコア（独自算出の注目度）: 2.817412580574242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In sufficiently complex tasks, it is expected that as a side effect of learning to solve a problem, a neural network will learn relevant abstractions of the representation of that problem. This has been confirmed in particular in machine vision where a number of works showed that correlations could be found between the activations of specific units (neurons) in a neural network and the visual concepts (textures, colors, objects) present in the image. Here, we explore the use of self-organizing maps as a way to both visually and computationally inspect how activation vectors of whole layers of neural networks correspond to neural representations of abstract concepts such as `female person' or `realist painter'. We experiment with multiple measures applied to those maps to assess the level of representation of a concept in a network's layer. We show that, among the measures tested, the relative entropy of the activation map for a concept compared to the map for the whole data is a suitable candidate and can be used as part of a methodology to identify and locate the neural representation of a concept, visualize it, and understand its importance in solving the prediction task at hand.
• Abstract（参考訳）: 十分複雑なタスクでは、ニューラルネットワークは問題解決の副作用として、その問題の表現に関する関連する抽象化を学習することが期待される。 これは特に、ニューラルネットワーク内の特定のユニット(ニューロン)の活性化と、画像に存在する視覚的概念(テクスチャ、色、オブジェクト)の間に相関があることが、多くの研究で示されている機械ビジョンにおいて確認されている。 本稿では, ニューラルネットワークの層全体の活性化ベクトルが, 「女性」や「リアリズム画家」といった抽象概念の神経表現とどのように対応しているかを視覚的に, 計算的に検討する。 ネットワークのレイヤにおける概念表現のレベルを評価するために,これらのマップに適用する複数の尺度を実験する。 実験の結果, 概念の活性化マップの相対エントロピーは, データ全体のマップと比較して適切な候補であり, 概念の神経表現を同定し, 視覚化し, 目の前の予測課題の解決におけるその重要性を理解するための方法論の一部として利用することができることがわかった。

関連論文リスト

• Identifying Sub-networks in Neural Networks via Functionally Similar Representations [41.028797971427124]
  我々は、異なるサブネットワークの存在を調査し、ネットワークの理解を自動化するための一歩を踏み出した。 我々のアプローチは、人間と計算コストを最小限に抑えたニューラルネットワークの振る舞いに関する有意義な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-21T20:19:00Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Image segmentation with traveling waves in an exactly solvable recurrent neural network [71.74150501418039]
  繰り返しニューラルネットワークは、シーンの構造特性に応じて、画像をグループに効果的に分割できることを示す。 本稿では,このネットワークにおけるオブジェクトセグメンテーションのメカニズムを正確に記述する。 次に、グレースケール画像中の単純な幾何学的対象から自然画像まで、入力をまたいで一般化するオブジェクトセグメンテーションの簡単なアルゴリズムを実証する。
  論文  参考訳（メタデータ） (2023-11-28T16:46:44Z)
• Formal Conceptual Views in Neural Networks [0.0]
  本稿では,ニューラルネットワークの概念的視点,特に多値・記号的視点の2つの概念を紹介する。 我々は、ImageNetとFruit-360データセットの異なる実験を通して、新しいビューの概念的表現性をテストする。 本研究では,ニューロンからの人間の理解可能なルールの帰納的学習に概念的視点が適用可能であることを実証する。
  論文  参考訳（メタデータ） (2022-09-27T16:38:24Z)
• Neural Activation Patterns (NAPs): Visual Explainability of Learned Concepts [8.562628320010035]
  本稿では,活性化分布全体を考慮に入れた手法を提案する。 ニューラルネットワーク層の高次元活性化空間内で同様の活性化プロファイルを抽出することにより、同様に扱われる入力のグループを見つける。 これらの入力グループは、ニューラルネットワークアクティベーションパターン(NAP)を表現し、学習された層の概念を視覚化し解釈するために使用することができる。
  論文  参考訳（メタデータ） (2022-06-20T09:05:57Z)
• Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
  脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。 本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。 臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-05-06T03:45:36Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• Neural Network based Successor Representations of Space and Language [6.748976209131109]
  本稿では,構造化知識のマルチスケールの後継表現をニューラルネットワークで学習する手法を提案する。 すべてのシナリオにおいて、ニューラルネットワークは、後続表現を構築することによって基盤構造を正しく学習し、近似する。 我々は、認知地図とニューラルネットワークに基づく構造化知識の継承表現が、人工知能への深層学習の短さを克服する有望な方法を提供すると結論付けた。
  論文  参考訳（メタデータ） (2022-02-22T21:52:46Z)
• Can the brain use waves to solve planning problems? [62.997667081978825]
  このような課題を解くニューラルネットワークモデルを提案する。 このモデルは、哺乳類の新皮質と海馬に関する幅広い実験的な発見と互換性がある。
  論文  参考訳（メタデータ） (2021-10-11T11:07:05Z)
• Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
  本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。 まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。 第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
  論文  参考訳（メタデータ） (2020-09-10T17:59:10Z)
• The Representation Theory of Neural Networks [7.724617675868718]
  ニューラルネットワークは、量子表現の数学的理論によって表現できることを示す。 ネットワーククイバーが共通のニューラルネットワークの概念に優しく適応していることを示します。 また、ニューラルネットワークがデータから表現を生成する方法を理解するためのクイバー表現モデルも提供します。
  論文  参考訳（メタデータ） (2020-07-23T19:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。