論文の概要: Overlooked factors in concept-based explanations: Dataset choice,
concept learnability, and human capability
- arxiv url: http://arxiv.org/abs/2207.09615v2
- Date: Fri, 12 May 2023 15:48:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-15 16:31:52.430104
- Title: Overlooked factors in concept-based explanations: Dataset choice,
concept learnability, and human capability
- Title（参考訳）: 概念に基づく説明における見過ごされた要因:データセットの選択、概念学習性、人間の能力
- Authors: Vikram V. Ramaswamy, Sunnie S. Y. Kim, Ruth Fong and Olga Russakovsky
- Abstract要約: 概念に基づく解釈可能性法は、事前に定義されたセマンティック概念のセットを使用して、ディープニューラルネットワークモデル予測を説明することを目的としている。
その人気にもかかわらず、文学によって十分に理解され、明瞭化されていない限界に悩まされている。
概念に基づく説明において、よく見過ごされる3つの要因を分析した。
- 参考スコア（独自算出の注目度）: 25.545486537295144
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Concept-based interpretability methods aim to explain deep neural network
model predictions using a predefined set of semantic concepts. These methods
evaluate a trained model on a new, "probe" dataset and correlate model
predictions with the visual concepts labeled in that dataset. Despite their
popularity, they suffer from limitations that are not well-understood and
articulated by the literature. In this work, we analyze three commonly
overlooked factors in concept-based explanations. First, the choice of the
probe dataset has a profound impact on the generated explanations. Our analysis
reveals that different probe datasets may lead to very different explanations,
and suggests that the explanations are not generalizable outside the probe
dataset. Second, we find that concepts in the probe dataset are often less
salient and harder to learn than the classes they claim to explain, calling
into question the correctness of the explanations. We argue that only visually
salient concepts should be used in concept-based explanations. Finally, while
existing methods use hundreds or even thousands of concepts, our human studies
reveal a much stricter upper bound of 32 concepts or less, beyond which the
explanations are much less practically useful. We make suggestions for future
development and analysis of concept-based interpretability methods. Code for
our analysis and user interface can be found at
\url{https://github.com/princetonvisualai/OverlookedFactors}
- Abstract（参考訳）: 概念に基づく解釈可能性手法は、事前定義された概念セットを用いた深層ニューラルネットワークモデルの予測を説明することを目的としている。
データセット上でトレーニングされたモデルを評価し、そのデータセットにラベル付けされたビジュアル概念とモデル予測を関連付ける。
その人気にもかかわらず、文学によってよく理解され、表現されていない制限に苦しむ。
本研究では,概念に基づく説明において見過ごされている3つの要因を分析した。
まず、プローブデータセットの選択は、生成された説明に大きな影響を与える。
分析の結果、異なるプローブデータセットが全く異なる説明につながる可能性があり、その説明はプローブデータセットの外部では一般化できないことが示唆された。
第二に、プローブデータセットの概念は、説明の正しさを疑問視しながら、彼らが説明を主張するクラスよりも、より正確で学習しにくいことが多い。
視覚的に健全な概念のみが概念に基づく説明に使用されるべきだと我々は主張する。
最後に、既存の手法では何百、何千もの概念が使われていますが、人間の研究では、32以上の概念のより厳密な上限が示されています。
概念に基づく解釈可能性手法の今後の発展と分析について提案する。
分析とユーザインターフェースのコードは \url{https://github.com/princetonvisualai/overlookedfactors} で確認できます。
関連論文リスト
- CoLiDR: Concept Learning using Aggregated Disentangled Representations [29.932706137805713]
概念に基づくモデルを用いたディープニューラルネットワークの解釈可能性は、人間の理解可能な概念を通じてモデルの振る舞いを説明する有望な方法を提供する。
並列的な研究は、データ分散をその基盤となる生成因子に切り離し、データ生成プロセスを説明することに重点を置いている。
どちらの方向も広く注目されているが、数学的に不整合な表現と人間の理解可能な概念を統一するための生成的要因の観点から概念を説明する研究はほとんど行われていない。
論文 参考訳（メタデータ） (2024-07-27T16:55:14Z) - Explaining Explainability: Understanding Concept Activation Vectors [35.37586279472797]
最近の解釈可能性法では、概念に基づく説明を用いて、ディープラーニングモデルの内部表現を、人間が慣れ親しんだ言語に翻訳する。
これは、ニューラルネットワークの表現空間にどの概念が存在するかを理解する必要がある。
本研究では,概念活性化ベクトル(Concept Activation Vectors, CAV)の3つの特性について検討する。
本研究では,これらの特性の存在を検出するためのツールを導入し,それらが引き起こした説明にどのように影響するかを把握し,その影響を最小限に抑えるための推奨事項を提供する。
論文 参考訳（メタデータ） (2024-04-04T17:46:20Z) - An Axiomatic Approach to Model-Agnostic Concept Explanations [67.84000759813435]
本稿では、線形性、再帰性、類似性という3つの自然な公理を満たす概念的説明へのアプローチを提案する。
次に、従来の概念的説明手法とのつながりを確立し、それらの意味の異なる意味についての洞察を提供する。
論文 参考訳（メタデータ） (2024-01-12T20:53:35Z) - Estimation of Concept Explanations Should be Uncertainty Aware [39.598213804572396]
概念説明(Concept Explanations)と呼ばれる特定の概念について研究し、人間の理解可能な概念を用いてモデルを解釈することを目的としている。
簡単な解釈で人気があるが、概念的な説明は騒々しいことが知られている。
本稿では,これらの問題に対処する不確実性を考慮したベイズ推定手法を提案する。
論文 参考訳（メタデータ） (2023-12-13T11:17:27Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T23:24:01Z) - Concept Gradient: Concept-based Interpretation Without Linear Assumption [77.96338722483226]
概念活性化ベクトル(Concept Activation Vector, CAV)は、与えられたモデルと概念の潜在表現の間の線形関係を学習することに依存する。
我々は、線形概念関数を超えて概念に基づく解釈を拡張する概念グラディエント(CG)を提案した。
我々は、CGがおもちゃの例と実世界のデータセットの両方でCAVより優れていることを実証した。
論文 参考訳（メタデータ） (2022-08-31T17:06:46Z) - From Attribution Maps to Human-Understandable Explanations through
Concept Relevance Propagation [16.783836191022445]
eXplainable Artificial Intelligence(XAI)の分野は、今日の強力だが不透明なディープラーニングモデルに透明性をもたらすことを目指している。
局所的なXAI手法は属性マップの形で個々の予測を説明するが、グローバルな説明手法はモデルが一般的にエンコードするために学んだ概念を視覚化する。
論文 参考訳（メタデータ） (2022-06-07T12:05:58Z) - Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。
次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。
最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
論文 参考訳（メタデータ） (2022-02-25T01:27:31Z) - Contrastive Explanations for Model Interpretability [77.92370750072831]
分類モデルの対照的説明を生成する手法を提案する。
本手法は潜在空間へのモデル表現の投影に基づいている。
本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
論文 参考訳（メタデータ） (2021-03-02T00:36:45Z) - The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal
Sufficient Subsets [61.66584140190247]
機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。
そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
論文 参考訳（メタデータ） (2020-09-23T09:45:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。