論文の概要: CoSy: Evaluating Textual Explanations of Neurons

• arxiv url: http://arxiv.org/abs/2405.20331v1
• Date: Thu, 30 May 2024 17:59:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 12:50:16.765272
• Title: CoSy: Evaluating Textual Explanations of Neurons
• Title（参考訳）: CoSy: ニューロンのテキスト説明の評価
• Authors: Laura Kopf, Philine Lou Bommer, Anna Hedström, Sebastian Lapuschkin, Marina M. -C. Höhne, Kirill Bykov,
• Abstract要約: ディープニューラルネットワーク(DNN)の複雑な性質を理解する上で重要な側面は、潜在表現の中で学習された概念を説明する能力である。 潜在ニューロンのテキスト説明の質を評価するための新しいフレームワークであるCoSyを紹介する。
• 参考スコア（独自算出の注目度）: 5.696573924249008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A crucial aspect of understanding the complex nature of Deep Neural Networks (DNNs) is the ability to explain learned concepts within their latent representations. While various methods exist to connect neurons to textual descriptions of human-understandable concepts, evaluating the quality of these explanation methods presents a major challenge in the field due to a lack of unified, general-purpose quantitative evaluation. In this work, we introduce CoSy (Concept Synthesis) -- a novel, architecture-agnostic framework to evaluate the quality of textual explanations for latent neurons. Given textual explanations, our proposed framework leverages a generative model conditioned on textual input to create data points representing the textual explanation. Then, the neuron's response to these explanation data points is compared with the response to control data points, providing a quality estimate of the given explanation. We ensure the reliability of our proposed framework in a series of meta-evaluation experiments and demonstrate practical value through insights from benchmarking various concept-based textual explanation methods for Computer Vision tasks, showing that tested explanation methods significantly differ in quality.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の複雑な性質を理解する上で重要な側面は、潜在表現の中で学習された概念を説明する能力である。 ニューロンを人間の理解可能な概念のテキスト記述に結びつける様々な方法が存在するが、これらの説明方法の質を評価することは、統一的で汎用的な定量的評価の欠如により、この分野において大きな課題となっている。 本研究では,潜伏ニューロンのテキスト説明の質を評価する新しいアーキテクチャに依存しないフレームワークであるCoSy(Concept Synthesis)を紹介する。 提案フレームワークは,テキスト記述を前提とした生成モデルを用いて,テキスト記述を表すデータポイントを生成する。 そして、これらの説明データポイントに対するニューロンの応答を制御データポイントに対する応答と比較し、与えられた説明の質推定を行う。 我々は,一連のメタ評価実験において提案するフレームワークの信頼性を保証し,コンピュータビジョンタスクの様々な概念に基づくテキスト説明手法をベンチマークした結果から,テストされた説明手法の品質が著しく異なることを示す。

関連論文リスト

• CoLiDR: Concept Learning using Aggregated Disentangled Representations [29.932706137805713]
  概念に基づくモデルを用いたディープニューラルネットワークの解釈可能性は、人間の理解可能な概念を通じてモデルの振る舞いを説明する有望な方法を提供する。 並列的な研究は、データ分散をその基盤となる生成因子に切り離し、データ生成プロセスを説明することに重点を置いている。 どちらの方向も広く注目されているが、数学的に不整合な表現と人間の理解可能な概念を統一するための生成的要因の観点から概念を説明する研究はほとんど行われていない。
  論文  参考訳（メタデータ） (2024-07-27T16:55:14Z)
• Less is More: Discovering Concise Network Explanations [26.126343100127936]
  本稿では,人間の理解可能な視覚的説明を生成するための新しいアプローチであるDiscovering Conceptual Network Explanations (DCNE)を紹介する。 本手法は,クラス間の識別に重要な視覚的説明を自動的に見つける。 DCNEは、ニューラルネットワークの決定を人間にアクセスし、解釈できるようにするための一歩である。
  論文  参考訳（メタデータ） (2024-05-24T06:10:23Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Mapping Knowledge Representations to Concepts: A Review and New Perspectives [0.6875312133832078]
  本論は、内部表現と人間の理解可能な概念を関連付けることを目的とした研究に焦点をあてる。 この分類学と因果関係の理論は、ニューラルネットワークの説明から期待できるもの、期待できないものを理解するのに有用である。 この分析は、モデル説明可能性の目標に関するレビューされた文献の曖昧さも明らかにしている。
  論文  参考訳（メタデータ） (2022-12-31T12:56:12Z)
• Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
  概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。 次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。 最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
  論文  参考訳（メタデータ） (2022-02-25T01:27:31Z)
• Generalizable Neuro-symbolic Systems for Commonsense Question Answering [67.72218865519493]
  この章では、言語理解に適したニューロシンボリックモデルが、下流タスクにおけるドメインの一般化性と堅牢性を実現する方法について説明する。 ニューラルネットワークモデルと知識グラフを統合するための様々な方法について議論する。
  論文  参考訳（メタデータ） (2022-01-17T06:13:37Z)
• Cause and Effect: Concept-based Explanation of Neural Networks [3.883460584034766]
  ニューロンの内部表現や概念に対するニューロンの活性化を調べることで、ニューラルネットワークの解釈可能性の一歩を踏み出します。 概念(またはその否定)とタスククラスの間の因果関係の存在を確認するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-14T18:54:17Z)
• Interpretable Deep Learning: Interpretations, Interpretability, Trustworthiness, and Beyond [49.93153180169685]
  一般に混同される2つの基本的な概念(解釈と解釈可能性)を紹介・明らかにする。 我々は,新しい分類法を提案することにより,異なる視点から,最近のいくつかの解釈アルゴリズムの設計を詳細に述べる。 信頼される」解釈アルゴリズムを用いてモデルの解釈可能性を評価する上での既存の作業をまとめる。
  論文  参考訳（メタデータ） (2021-03-19T08:40:30Z)
• Visual Question Answering based on Local-Scene-Aware Referring Expression Generation [27.080830480999527]
  複雑なシーンをイメージとして表現し、意思決定を行うためのテキスト表現の活用を提案します。 生成した式には視覚的特徴と質問埋め込みが組み込まれ、質問関連回答が得られる。 また、3つの異なる情報モダリティをコアテンションでモデル化するマルチヘッドアテンションネットワークを提案する。
  論文  参考訳（メタデータ） (2021-01-22T07:28:28Z)
• A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
  既存の説明可能性技術を評価するための診断特性のリストを作成する。 そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
  論文  参考訳（メタデータ） (2020-09-25T12:01:53Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。