論文の概要: Overlooked factors in concept-based explanations: Dataset choice,
concept salience, and human capability
- arxiv url: http://arxiv.org/abs/2207.09615v1
- Date: Wed, 20 Jul 2022 01:59:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-21 13:24:09.109468
- Title: Overlooked factors in concept-based explanations: Dataset choice,
concept salience, and human capability
- Title(参考訳): 概念に基づく説明における見過ごされた要因:データセットの選択、コンセプトサリエンス、人間の能力
- Authors: Vikram V. Ramaswamy, Sunnie S. Y. Kim, Ruth Fong and Olga Russakovsky
- Abstract要約: 概念に基づく解釈可能性法は、事前に定義されたセマンティック概念のセットを使用して、ディープニューラルネットワークモデル予測を説明することを目的としている。
その人気にもかかわらず、文学によって十分に理解され、明瞭化されていない限界に悩まされている。
概念に基づく説明において、よく見過ごされる3つの要因を分析した。
- 参考スコア(独自算出の注目度): 25.545486537295144
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Concept-based interpretability methods aim to explain deep neural network
model predictions using a predefined set of semantic concepts. These methods
evaluate a trained model on a new, "probe" dataset and correlate model
predictions with the visual concepts labeled in that dataset. Despite their
popularity, they suffer from limitations that are not well-understood and
articulated by the literature. In this work, we analyze three commonly
overlooked factors in concept-based explanations. First, the choice of the
probe dataset has a profound impact on the generated explanations. Our analysis
reveals that different probe datasets may lead to very different explanations,
and suggests that the explanations are not generalizable outside the probe
dataset. Second, we find that concepts in the probe dataset are often less
salient and harder to learn than the classes they claim to explain, calling
into question the correctness of the explanations. We argue that only visually
salient concepts should be used in concept-based explanations. Finally, while
existing methods use hundreds or even thousands of concepts, our human studies
reveal a much stricter upper bound of 32 concepts or less, beyond which the
explanations are much less practically useful. We make suggestions for future
development and analysis of concept-based interpretability methods. Code for
our analysis and user interface can be found at
\url{https://github.com/princetonvisualai/OverlookedFactors}
- Abstract(参考訳): 概念に基づく解釈可能性手法は、事前定義された概念セットを用いた深層ニューラルネットワークモデルの予測を説明することを目的としている。
データセット上でトレーニングされたモデルを評価し、そのデータセットにラベル付けされたビジュアル概念とモデル予測を関連付ける。
その人気にもかかわらず、文学によってよく理解され、表現されていない制限に苦しむ。
本研究では,概念に基づく説明において見過ごされている3つの要因を分析した。
まず、プローブデータセットの選択は、生成された説明に大きな影響を与える。
分析の結果、異なるプローブデータセットが全く異なる説明につながる可能性があり、その説明はプローブデータセットの外部では一般化できないことが示唆された。
第二に、プローブデータセットの概念は、説明の正しさを疑問視しながら、彼らが説明を主張するクラスよりも、より正確で学習しにくいことが多い。
視覚的に健全な概念のみが概念に基づく説明に使用されるべきだと我々は主張する。
最後に、既存の手法では何百、何千もの概念が使われていますが、人間の研究では、32以上の概念のより厳密な上限が示されています。
概念に基づく解釈可能性手法の今後の発展と分析について提案する。
分析とユーザインターフェースのコードは \url{https://github.com/princetonvisualai/overlookedfactors} で確認できます。
関連論文リスト
- An Axiomatic Approach to Model-Agnostic Concept Explanations [67.84000759813435]
本稿では、線形性、再帰性、類似性という3つの自然な公理を満たす概念的説明へのアプローチを提案する。
次に、従来の概念的説明手法とのつながりを確立し、それらの意味の異なる意味についての洞察を提供する。
論文 参考訳(メタデータ) (2024-01-12T20:53:35Z) - Estimation of Concept Explanations Should be Uncertainty Aware [45.141438981504564]
本研究では,人間の理解可能な概念を用いてモデルを解釈することを目的として,概念説明と呼ばれる特定のグローバルな説明について研究する。
マルチモーダル学習の最近の進歩は、概念的説明への関心を再燃させ、評価のためのラベル効率の良い提案につながった。
本稿では,概念記述の信頼性を向上する不確実性を考慮したベイズ推定手法を提案する。
論文 参考訳(メタデータ) (2023-12-13T11:17:27Z) - Uncovering Unique Concept Vectors through Latent Space Decomposition [0.0]
概念に基づく説明は、特徴帰属推定よりも解釈可能な優れたアプローチとして現れてきた。
本稿では,訓練中に深層モデルから学んだ概念を自動的に発見するポストホックな教師なし手法を提案する。
実験の結果、我々の概念の大部分は、人間にとって容易に理解でき、一貫性を示し、目の前の課題に関連があることが判明した。
論文 参考訳(メタデータ) (2023-07-13T17:21:54Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-14T23:24:01Z) - Concept Gradient: Concept-based Interpretation Without Linear Assumption [77.96338722483226]
概念活性化ベクトル(Concept Activation Vector, CAV)は、与えられたモデルと概念の潜在表現の間の線形関係を学習することに依存する。
我々は、線形概念関数を超えて概念に基づく解釈を拡張する概念グラディエント(CG)を提案した。
我々は、CGがおもちゃの例と実世界のデータセットの両方でCAVより優れていることを実証した。
論文 参考訳(メタデータ) (2022-08-31T17:06:46Z) - From Attribution Maps to Human-Understandable Explanations through
Concept Relevance Propagation [16.783836191022445]
eXplainable Artificial Intelligence(XAI)の分野は、今日の強力だが不透明なディープラーニングモデルに透明性をもたらすことを目指している。
局所的なXAI手法は属性マップの形で個々の予測を説明するが、グローバルな説明手法はモデルが一般的にエンコードするために学んだ概念を視覚化する。
論文 参考訳(メタデータ) (2022-06-07T12:05:58Z) - Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。
次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。
最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
論文 参考訳(メタデータ) (2022-02-25T01:27:31Z) - Discovering Concepts in Learned Representations using Statistical
Inference and Interactive Visualization [0.76146285961466]
概念発見は、深層学習の専門家とモデルエンドユーザーの間のギャップを埋めるために重要である。
現在のアプローチには、手作りの概念データセットと、それを潜在空間方向に変換することが含まれる。
本研究では,複数の仮説テストに基づく意味ある概念のユーザ発見と,インタラクティブな可視化に関する2つのアプローチを提案する。
論文 参考訳(メタデータ) (2022-02-09T22:29:48Z) - The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal
Sufficient Subsets [61.66584140190247]
機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。
そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
論文 参考訳(メタデータ) (2020-09-23T09:45:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。