論文の概要: CoSy: Evaluating Textual Explanations of Neurons

• arxiv url: http://arxiv.org/abs/2405.20331v1
• Date: Thu, 30 May 2024 17:59:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 12:50:16.765272
• Title: CoSy: Evaluating Textual Explanations of Neurons
• Title（参考訳）: CoSy: ニューロンのテキスト説明の評価
• Authors: Laura Kopf, Philine Lou Bommer, Anna Hedström, Sebastian Lapuschkin, Marina M. -C. Höhne, Kirill Bykov,
• Abstract要約: ディープニューラルネットワーク(DNN)の複雑な性質を理解する上で重要な側面は、潜在表現の中で学習された概念を説明する能力である。 潜在ニューロンのテキスト説明の質を評価するための新しいフレームワークであるCoSyを紹介する。
• 参考スコア（独自算出の注目度）: 5.696573924249008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A crucial aspect of understanding the complex nature of Deep Neural Networks (DNNs) is the ability to explain learned concepts within their latent representations. While various methods exist to connect neurons to textual descriptions of human-understandable concepts, evaluating the quality of these explanation methods presents a major challenge in the field due to a lack of unified, general-purpose quantitative evaluation. In this work, we introduce CoSy (Concept Synthesis) -- a novel, architecture-agnostic framework to evaluate the quality of textual explanations for latent neurons. Given textual explanations, our proposed framework leverages a generative model conditioned on textual input to create data points representing the textual explanation. Then, the neuron's response to these explanation data points is compared with the response to control data points, providing a quality estimate of the given explanation. We ensure the reliability of our proposed framework in a series of meta-evaluation experiments and demonstrate practical value through insights from benchmarking various concept-based textual explanation methods for Computer Vision tasks, showing that tested explanation methods significantly differ in quality.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の複雑な性質を理解する上で重要な側面は、潜在表現の中で学習された概念を説明する能力である。 ニューロンを人間の理解可能な概念のテキスト記述に結びつける様々な方法が存在するが、これらの説明方法の質を評価することは、統一的で汎用的な定量的評価の欠如により、この分野において大きな課題となっている。 本研究では,潜伏ニューロンのテキスト説明の質を評価する新しいアーキテクチャに依存しないフレームワークであるCoSy(Concept Synthesis)を紹介する。 提案フレームワークは,テキスト記述を前提とした生成モデルを用いて,テキスト記述を表すデータポイントを生成する。 そして、これらの説明データポイントに対するニューロンの応答を制御データポイントに対する応答と比較し、与えられた説明の質推定を行う。 我々は,一連のメタ評価実験において提案するフレームワークの信頼性を保証し,コンピュータビジョンタスクの様々な概念に基づくテキスト説明手法をベンチマークした結果から,テストされた説明手法の品質が著しく異なることを示す。

関連論文リスト

• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Less is More: Discovering Concise Network Explanations [26.126343100127936]
  本稿では,人間の理解可能な視覚的説明を生成するための新しいアプローチであるDiscovering Conceptual Network Explanations (DCNE)を紹介する。 本手法は,クラス間の識別に重要な視覚的説明を自動的に見つける。 DCNEは、ニューラルネットワークの決定を人間にアクセスし、解釈できるようにするための一歩である。
  論文  参考訳（メタデータ） (2024-05-24T06:10:23Z)
• Towards Generating Informative Textual Description for Neurons in Language Models [6.884227665279812]
  本稿では,ニューロンにテキスト記述を結び付けるフレームワークを提案する。 特に,提案手法が75%精度@2,50%リコール@2を実現していることを示す。
  論文  参考訳（メタデータ） (2024-01-30T04:06:25Z)
• NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical Development Patterns of Preterm Infants [73.85768093666582]
  我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。 NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
  論文  参考訳（メタデータ） (2023-01-01T12:48:12Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• Formal Conceptual Views in Neural Networks [0.0]
  本稿では,ニューラルネットワークの概念的視点,特に多値・記号的視点の2つの概念を紹介する。 我々は、ImageNetとFruit-360データセットの異なる実験を通して、新しいビューの概念的表現性をテストする。 本研究では,ニューロンからの人間の理解可能なルールの帰納的学習に概念的視点が適用可能であることを実証する。
  論文  参考訳（メタデータ） (2022-09-27T16:38:24Z)
• Global Concept-Based Interpretability for Graph Neural Networks via Neuron Analysis [0.0]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフ関連タスクに非常に効果的である。 解釈性と透明性が欠如している。 現在の説明可能性のアプローチは一般的にローカルで、GNNをブラックボックスとして扱う。 本稿では,ニューロンレベルの概念を用いたGNNのグローバルな説明を創出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-08-22T21:30:55Z)
• Natural Language Descriptions of Deep Visual Features [50.270035018478666]
  オープンエンド,コンポジション,自然言語による記述で自動的にニューロンをラベル付けする手法を提案する。 我々はMILANを用いて、視覚モデルにおける属性、カテゴリ、関係情報を選択的に選択したニューロンの分布と重要性を特徴付ける。 また、これらの特徴を曖昧にすることを目的としたデータセットでトレーニングされたモデルにおいて、人種や性別といった保護されたカテゴリに敏感な、監査用のMILANも使用しています。
  論文  参考訳（メタデータ） (2022-01-26T18:48:02Z)
• Generalizable Neuro-symbolic Systems for Commonsense Question Answering [67.72218865519493]
  この章では、言語理解に適したニューロシンボリックモデルが、下流タスクにおけるドメインの一般化性と堅牢性を実現する方法について説明する。 ニューラルネットワークモデルと知識グラフを統合するための様々な方法について議論する。
  論文  参考訳（メタデータ） (2022-01-17T06:13:37Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。