論文の概要: From "Where" to "What": Towards Human-Understandable Explanations through Concept Relevance Propagation

• arxiv url: http://arxiv.org/abs/2206.03208v1
• Date: Tue, 7 Jun 2022 12:05:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 13:46:30.006233
• Title: From "Where" to "What": Towards Human-Understandable Explanations through Concept Relevance Propagation
• Title（参考訳）: where"から"what"へ--概念適合性伝播を通した人間理解可能な説明へ
• Authors: Reduan Achtibat, Maximilian Dreyer, Ilona Eisenbraun, Sebastian Bosse, Thomas Wiegand, Wojciech Samek, Sebastian Lapuschkin
• Abstract要約: eXplainable Artificial Intelligence(XAI)の新興分野は、今日の強力だが不透明なディープラーニングモデルに透明性をもたらすことを目指している。 局所的なXAI手法は属性マップの形で個々の予測を説明するが、グローバルな説明手法はモデルが一般的にエンコードするために学んだ概念を視覚化する。 地域的・グローバルなXAIの背景にある原則を組み合わせることで、より情報的な説明を得ることを目的としている技術はごくわずかである。
• 参考スコア（独自算出の注目度）: 14.968622031196007
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emerging field of eXplainable Artificial Intelligence (XAI) aims to bring transparency to today's powerful but opaque deep learning models. While local XAI methods explain individual predictions in form of attribution maps, thereby identifying where important features occur (but not providing information about what they represent), global explanation techniques visualize what concepts a model has generally learned to encode. Both types of methods thus only provide partial insights and leave the burden of interpreting the model's reasoning to the user. Only few contemporary techniques aim at combining the principles behind both local and global XAI for obtaining more informative explanations. Those methods, however, are often limited to specific model architectures or impose additional requirements on training regimes or data and label availability, which renders the post-hoc application to arbitrarily pre-trained models practically impossible. In this work we introduce the Concept Relevance Propagation (CRP) approach, which combines the local and global perspectives of XAI and thus allows answering both the "where" and "what" questions for individual predictions, without additional constraints imposed. We further introduce the principle of Relevance Maximization for finding representative examples of encoded concepts based on their usefulness to the model. We thereby lift the dependency on the common practice of Activation Maximization and its limitations. We demonstrate the capabilities of our methods in various settings, showcasing that Concept Relevance Propagation and Relevance Maximization lead to more human interpretable explanations and provide deep insights into the model's representations and reasoning through concept atlases, concept composition analyses, and quantitative investigations of concept subspaces and their role in fine-grained decision making.
• Abstract（参考訳）: eXplainable Artificial Intelligence(XAI)の新興分野は、今日の強力だが不透明なディープラーニングモデルに透明性をもたらすことを目指している。 ローカルxaiメソッドは帰属マップの形で個々の予測を説明し、それによって重要な特徴がどこで発生したかを特定する(ただし、それらが表現した情報を提供しない)が、グローバル説明技法はモデルがエンコードするために一般的に学んだ概念を視覚化する。 したがって、どちらのタイプのメソッドも部分的な洞察しか提供せず、モデルの推論をユーザーに解釈する責任を残します。 地域的・グローバルなXAIの背景にある原則を組み合わせることで、より情報的な説明を得ることを目的としている技術はごくわずかである。 しかし、これらの手法は特定のモデルアーキテクチャに限定されたり、トレーニング体制やデータやラベルの可用性に関する追加の要件を課すことがよくある。 本研究では,xaiの局所的視点とグローバル的視点を組み合わせた概念適合伝播(crp)アプローチを導入し,追加の制約を伴わずに,個々の予測に対する「場所」と「何を」という問いに答える。 さらに,モデルの有用性に基づいた符号化概念の代表的な例を見つけるために,妥当性の最大化の原理も紹介する。 これにより、アクティベーション最大化の一般的な実践とその制限への依存を解消する。 提案手法を様々な環境で実証し,概念関係の伝播と妥当性の最大化が,より人間的な解釈可能な説明につながることを示すとともに,概念のアトラス,概念構成分析,概念部分空間の定量的調査と,その微細な意思決定における役割について深い洞察を与える。

関連論文リスト

• A survey on Concept-based Approaches For Model Improvement [2.1516043775965565]
  概念は人間の思考基盤として知られている。 ディープニューラルネットワーク(DNN)における様々な概念表現とその発見アルゴリズムの体系的レビューと分類について述べる。 また,これらの手法を総合的に調査した最初の論文として,概念に基づくモデル改善文献について詳述する。
  論文  参考訳（メタデータ） (2024-03-21T17:09:20Z)
• An Axiomatic Approach to Model-Agnostic Concept Explanations [67.84000759813435]
  本稿では、線形性、再帰性、類似性という3つの自然な公理を満たす概念的説明へのアプローチを提案する。 次に、従来の概念的説明手法とのつながりを確立し、それらの意味の異なる意味についての洞察を提供する。
  論文  参考訳（メタデータ） (2024-01-12T20:53:35Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Uncovering Unique Concept Vectors through Latent Space Decomposition [0.0]
  概念に基づく説明は、特徴帰属推定よりも解釈可能な優れたアプローチとして現れてきた。 本稿では,訓練中に深層モデルから学んだ概念を自動的に発見するポストホックな教師なし手法を提案する。 実験の結果、我々の概念の大部分は、人間にとって容易に理解でき、一貫性を示し、目の前の課題に関連があることが判明した。
  論文  参考訳（メタデータ） (2023-07-13T17:21:54Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Mapping Knowledge Representations to Concepts: A Review and New Perspectives [0.6875312133832078]
  本論は、内部表現と人間の理解可能な概念を関連付けることを目的とした研究に焦点をあてる。 この分類学と因果関係の理論は、ニューラルネットワークの説明から期待できるもの、期待できないものを理解するのに有用である。 この分析は、モデル説明可能性の目標に関するレビューされた文献の曖昧さも明らかにしている。
  論文  参考訳（メタデータ） (2022-12-31T12:56:12Z)
• Concept-Based Explanations for Tabular Data [0.0]
  ディープニューラルネットワーク(DNN)のための概念に基づく説明可能性を提案する。 本研究では,人間レベルの直観に合致する解釈可能性を示す手法の有効性を示す。 また,DNNのどの層がどの層を学習したのかを定量化したTCAVに基づく公平性の概念を提案する。
  論文  参考訳（メタデータ） (2022-09-13T02:19:29Z)
• Concept Gradient: Concept-based Interpretation Without Linear Assumption [77.96338722483226]
  概念活性化ベクトル(Concept Activation Vector, CAV)は、与えられたモデルと概念の潜在表現の間の線形関係を学習することに依存する。 我々は、線形概念関数を超えて概念に基づく解釈を拡張する概念グラディエント(CG)を提案した。 我々は、CGがおもちゃの例と実世界のデータセットの両方でCAVより優れていることを実証した。
  論文  参考訳（メタデータ） (2022-08-31T17:06:46Z)
• Human-Centered Concept Explanations for Neural Networks [47.71169918421306]
  概念活性化ベクトル(Concept Activation Vectors, CAV)のクラスを含む概念的説明を紹介する。 次に、自動的に概念を抽出するアプローチと、それらの注意事項に対処するアプローチについて議論する。 最後に、このような概念に基づく説明が、合成設定や実世界の応用において有用であることを示すケーススタディについて論じる。
  論文  参考訳（メタデータ） (2022-02-25T01:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。