論文の概要: CRAFT: Concept Recursive Activation FacTorization for Explainability
- arxiv url: http://arxiv.org/abs/2211.10154v1
- Date: Thu, 17 Nov 2022 14:22:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 13:57:13.077889
- Title: CRAFT: Concept Recursive Activation FacTorization for Explainability
- Title（参考訳）: CRAFT: 説明可能性のための再帰的活性化FacTorization
- Authors: Thomas Fel, Agustin Picard, Louis Bethune, Thibaut Boissin, David
Vigouroux, Julien Colin, R\'emi Cad\`ene, Thomas Serre
- Abstract要約: CRAFTは概念に基づく説明を生成することによって、"What"と"where"の両方を識別する新しいアプローチである。
提案手法の利点を実証するために,人間とコンピュータの視覚実験を行った。
- 参考スコア（独自算出の注目度）: 5.306341151551106
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Attribution methods are a popular class of explainability methods that use
heatmaps to depict the most important areas of an image that drive a model
decision. Nevertheless, recent work has shown that these methods have limited
utility in practice, presumably because they only highlight the most salient
parts of an image (i.e., 'where' the model looked) and do not communicate any
information about 'what' the model saw at those locations. In this work, we try
to fill in this gap with CRAFT -- a novel approach to identify both 'what' and
'where' by generating concept-based explanations. We introduce 3 new
ingredients to the automatic concept extraction literature: (i) a recursive
strategy to detect and decompose concepts across layers, (ii) a novel method
for a more faithful estimation of concept importance using Sobol indices, and
(iii) the use of implicit differentiation to unlock Concept Attribution Maps.
We conduct both human and computer vision experiments to demonstrate the
benefits of the proposed approach. We show that our recursive decomposition
generates meaningful and accurate concepts and that the proposed concept
importance estimation technique is more faithful to the model than previous
methods. When evaluating the usefulness of the method for human experimenters
on a human-defined utility benchmark, we find that our approach significantly
improves on two of the three test scenarios (while none of the current methods
including ours help on the third). Overall, our study suggests that, while much
work remains toward the development of general explainability methods that are
useful in practical scenarios, the identification of meaningful concepts at the
proper level of granularity yields useful and complementary information beyond
that afforded by attribution methods.
- Abstract（参考訳）: 属性法は、モデル決定を駆動する画像の最も重要な領域を記述するためにヒートマップを使用する一般的な説明可能性法である。
しかし、近年の研究では、これらの手法が実用性に限界があることが示されており、それはおそらく、画像の最も健全な部分(つまり、モデルが見える場所)のみをハイライトし、それらの場所で見た「何」についての情報を伝達しないからである。
本研究では,概念に基づく説明を生成することによって,「何」と「どこに」を識別する新しいアプローチであるCRAFTで,このギャップを埋めようとしている。
自動概念抽出文献に新しい3つの要素を紹介する。
(i)レイヤ間の概念を検出し分解する再帰的戦略。
(ii)sobolインデックスを用いた概念重要度をより忠実に推定するための新しい方法
(三)概念属性マップのアンロックに暗黙の差別を用いること。
提案手法の利点を実証するために,人間とコンピュータの視覚実験を行った。
再帰的分解は有意義で正確な概念を生成し,提案する概念重要度推定手法は従来の手法よりもモデルに忠実であることを示す。
ヒトが定義したユーティリティベンチマークで人体実験者の方法の有用性を評価すると、3つのテストシナリオのうち2つのシナリオでアプローチが大幅に改善されることがわかりました。
全体として,本研究は,実用シナリオにおいて有用な一般的な説明可能性手法の開発に向けて多くの研究が続けられているものの,適切な粒度レベルにおける意味概念の同定は,帰属法によって得られる以上の有用かつ補完的な情報をもたらすことを示唆する。
関連論文リスト
- Automatic Discovery of Visual Circuits [66.99553804855931]
本稿では,視覚モデルにおける視覚的概念の認識の基盤となる計算グラフのサブグラフを抽出するスケーラブルな手法について検討する。
提案手法は, モデル出力に因果的に影響を及ぼす回路を抽出し, これらの回路を編集することで, 敵攻撃から大きな事前学習モデルを守ることができることがわかった。
論文 参考訳（メタデータ） (2024-04-22T17:00:57Z) - A survey on Concept-based Approaches For Model Improvement [2.1516043775965565]
概念は人間の思考基盤として知られている。
ディープニューラルネットワーク(DNN)における様々な概念表現とその発見アルゴリズムの体系的レビューと分類について述べる。
また,これらの手法を総合的に調査した最初の論文として,概念に基づくモデル改善文献について詳述する。
論文 参考訳（メタデータ） (2024-03-21T17:09:20Z) - An Axiomatic Approach to Model-Agnostic Concept Explanations [67.84000759813435]
本稿では、線形性、再帰性、類似性という3つの自然な公理を満たす概念的説明へのアプローチを提案する。
次に、従来の概念的説明手法とのつながりを確立し、それらの意味の異なる意味についての洞察を提供する。
論文 参考訳（メタデータ） (2024-01-12T20:53:35Z) - Concept backpropagation: An Explainable AI approach for visualising
learned concepts in neural network models [0.0]
本稿では,ある概念を表す情報が与えられたニューラルネットワークモデルにどのように内在化されているかを分析する方法として,Emphconcept backpropagationという概念検出手法の拡張を提案する。
論文 参考訳（メタデータ） (2023-07-24T08:21:13Z) - A Holistic Approach to Unifying Automatic Concept Extraction and Concept
Importance Estimation [18.600321051705482]
概念に基づくアプローチは最も有望な説明可能性手法として現れている。
これら2つのステップを包括的に定義し、明確化する統一理論フレームワークを導入する。
類似の共有戦略に基づいて分類されたデータポイントのクラスタを効率的に識別する方法を示す。
論文 参考訳（メタデータ） (2023-06-11T23:28:02Z) - Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文 参考訳（メタデータ） (2023-03-21T14:24:58Z) - Towards Better Understanding Attribution Methods [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
論文 参考訳（メタデータ） (2022-05-20T20:50:17Z) - Sparse Subspace Clustering for Concept Discovery (SSCCD) [1.7319807100654885]
概念は高いレベルの人間の理解の鍵となる構成要素である。
局所帰属法では、サンプル間のコヒーレントモデル挙動を特定できない。
隠れた特徴層の低次元部分空間として、新しい概念の定義を提唱した。
論文 参考訳（メタデータ） (2022-03-11T16:15:48Z) - Discovering Concepts in Learned Representations using Statistical
Inference and Interactive Visualization [0.76146285961466]
概念発見は、深層学習の専門家とモデルエンドユーザーの間のギャップを埋めるために重要である。
現在のアプローチには、手作りの概念データセットと、それを潜在空間方向に変換することが含まれる。
本研究では,複数の仮説テストに基づく意味ある概念のユーザ発見と,インタラクティブな可視化に関する2つのアプローチを提案する。
論文 参考訳（メタデータ） (2022-02-09T22:29:48Z) - Discriminative Attribution from Counterfactuals [64.94009515033984]
本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。
本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
論文 参考訳（メタデータ） (2021-09-28T00:53:34Z) - There and Back Again: Revisiting Backpropagation Saliency Methods [87.40330595283969]
正当性法は,各入力サンプルの重要度マップを作成することによって,モデルの予測を説明する。
このような手法の一般的なクラスは、信号のバックプロパゲートと結果の勾配の分析に基づいている。
本稿では,そのような手法を統一可能な単一のフレームワークを提案する。
論文 参考訳（メタデータ） (2020-04-06T17:58:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。