論文の概要: Evaluating the Stability of Semantic Concept Representations in CNNs for Robust Explainability

• arxiv url: http://arxiv.org/abs/2304.14864v1
• Date: Fri, 28 Apr 2023 14:14:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 14:02:26.574247
• Title: Evaluating the Stability of Semantic Concept Representations in CNNs for Robust Explainability
• Title（参考訳）: ロバスト説明可能性のためのCNNにおける意味概念表現の安定性の評価
• Authors: Georgii Mikriukov, Gesina Schwalbe, Christian Hellert and Korinna Bade
• Abstract要約: 本稿では,コンピュータビジョンCNNにおける概念表現を扱う際の2つの安定性目標について述べる。 ガイドとなるユースケースは、オブジェクト検出CNNのためのポストホックな説明可能性フレームワークである。 本稿では,概念分離と一貫性の両面を考慮した新しい計量法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Analysis of how semantic concepts are represented within Convolutional Neural Networks (CNNs) is a widely used approach in Explainable Artificial Intelligence (XAI) for interpreting CNNs. A motivation is the need for transparency in safety-critical AI-based systems, as mandated in various domains like automated driving. However, to use the concept representations for safety-relevant purposes, like inspection or error retrieval, these must be of high quality and, in particular, stable. This paper focuses on two stability goals when working with concept representations in computer vision CNNs: stability of concept retrieval and of concept attribution. The guiding use-case is a post-hoc explainability framework for object detection (OD) CNNs, towards which existing concept analysis (CA) methods are successfully adapted. To address concept retrieval stability, we propose a novel metric that considers both concept separation and consistency, and is agnostic to layer and concept representation dimensionality. We then investigate impacts of concept abstraction level, number of concept training samples, CNN size, and concept representation dimensionality on stability. For concept attribution stability we explore the effect of gradient instability on gradient-based explainability methods. The results on various CNNs for classification and object detection yield the main findings that (1) the stability of concept retrieval can be enhanced through dimensionality reduction via data aggregation, and (2) in shallow layers where gradient instability is more pronounced, gradient smoothing techniques are advised. Finally, our approach provides valuable insights into selecting the appropriate layer and concept representation dimensionality, paving the way towards CA in safety-critical XAI applications.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)における意味論的概念の表現方法の分析は、CNNを解釈するための説明可能な人工知能(XAI)において広く使われているアプローチである。 モチベーションは、自動化運転のようなさまざまな領域で義務付けられているように、安全クリティカルなAIベースのシステムの透明性の必要性である。 しかし、検査やエラー検索などの安全関連目的のために概念表現を使用するには、これらは高品質で、特に安定でなければならない。 本稿では,コンピュータビジョンcnnにおける概念表現を扱う際の,概念検索の安定性と概念帰属という2つの安定性目標に焦点を当てる。 既存の概念分析(CA)手法をうまく適応させるための、オブジェクト検出(OD)CNNのためのポストホックな説明可能性フレームワークである。 概念検索の安定性に対処するために,概念分離と一貫性を考慮し,レイヤや概念表現次元に依存しない新しいメトリクスを提案する。 次に,概念抽象化レベル,概念トレーニングサンプル数,cnnサイズ,概念表現次元が安定性に与える影響について検討する。 概念帰属安定性のために,勾配不安定性が勾配に基づく説明可能性に及ぼす影響を考察する。 その結果,(1)データ集約による次元縮小により概念検索の安定性が向上し,(2)傾斜不安定がより顕著である浅層では勾配平滑化技術が推奨されている。 最後に、我々のアプローチは、安全クリティカルなXAIアプリケーションにおいて、適切な層と概念表現の次元性を選択するための貴重な洞察を提供する。

関連論文リスト

• Visual-TCAV: Concept-based Attribution and Saliency Maps for Post-hoc Explainability in Image Classification [3.9626211140865464]
  近年,畳み込みニューラルネットワーク(CNN)のパフォーマンスが大幅に向上している。 しかし、そのサイズと複雑さのため、ブラックボックスとして機能し、透明性の懸念につながります。 本稿では,これらの手法間のギャップを埋めることを目的とした,ポストホックな説明可能性フレームワークであるVisual-TCAVを紹介する。
  論文  参考訳（メタデータ） (2024-11-08T16:52:52Z)
• Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
  モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。 本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T09:13:11Z)
• Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。 既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。 本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
  論文  参考訳（メタデータ） (2024-05-02T17:59:01Z)
• Implicit Concept Removal of Diffusion Models [92.55152501707995]
  テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。 幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
  論文  参考訳（メタデータ） (2023-10-09T17:13:10Z)
• Scale-Preserving Automatic Concept Extraction (SPACE) [5.270054840298395]
  我々は,CNNの最先端の代替概念抽出手法として,SPACE(Scale-Preserving Automatic Concept extract)アルゴリズムを導入する。 提案手法は,人間の理解可能な概念の形で,モデルの意思決定過程を説明する。
  論文  参考訳（メタデータ） (2023-08-11T08:54:45Z)
• Understanding and Enhancing Robustness of Concept-based Models [41.20004311158688]
  対向摂動に対する概念ベースモデルの堅牢性について検討する。 本稿では、まず、概念ベースモデルのセキュリティ脆弱性を評価するために、さまざまな悪意ある攻撃を提案し、分析する。 そこで我々は,これらのシステムのロバスト性を高めるための,汎用的対人訓練に基づく防御機構を提案する。
  論文  参考訳（メタデータ） (2022-11-29T10:43:51Z)
• I saw, I conceived, I concluded: Progressive Concepts as Bottlenecks [2.9398911304923447]
  概念ボトルネックモデル(CBM)は、予測中間概念の修正による推論時の説明可能性と介入を提供する。 これにより、CBMは高い意思決定に魅力的なものとなる。 胎児超音波検査の品質評価を,医療におけるCBM意思決定支援の現実的ユースケースとして捉えた。
  論文  参考訳（メタデータ） (2022-11-19T09:31:19Z)
• Interpretable Self-Aware Neural Networks for Robust Trajectory Prediction [50.79827516897913]
  本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。 実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-16T06:28:20Z)
• GlanceNets: Interpretabile, Leak-proof Concept-based Models [23.7625973884849]
  概念ベースモデル(CBM)は、高レベルの概念の語彙の獲得と推論によって、ハイパフォーマンスと解釈可能性を組み合わせる。 我々は、モデル表現と基礎となるデータ生成プロセスとの整合性の観点から、解釈可能性を明確に定義する。 GlanceNetsは不整合表現学習とオープンセット認識の技法を利用してアライメントを実現する新しいCBMである。
  論文  参考訳（メタデータ） (2022-05-31T08:53:53Z)
• Modeling Temporal Concept Receptive Field Dynamically for Untrimmed Video Analysis [105.06166692486674]
  本稿では,概念に基づくイベント表現の時間的概念受容分野について考察する。 時間的動的畳み込み(TDC)を導入し、概念に基づくイベント分析をより柔軟にする。 異なる係数は、入力ビデオに応じて適切な時間的概念受容フィールドサイズを生成することができる。
  論文  参考訳（メタデータ） (2021-11-23T04:59:48Z)
• A general framework for defining and optimizing robustness [74.67016173858497]
  分類器の様々な種類の堅牢性を定義するための厳密でフレキシブルなフレームワークを提案する。 我々の概念は、分類器の堅牢性は正確性とは無関係な性質と考えるべきであるという仮定に基づいている。 我々は,任意の分類モデルに適用可能な,非常に一般的なロバスト性フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-06-19T13:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。