論文の概要: Activation-Deactivation: A General Framework for Robust Post-hoc Explainable AI
- arxiv url: http://arxiv.org/abs/2510.01038v1
- Date: Wed, 01 Oct 2025 15:42:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-03 16:59:20.651774
- Title: Activation-Deactivation: A General Framework for Robust Post-hoc Explainable AI
- Title(参考訳): Activation-Deactivation: ホット後の説明可能なAIのための一般的なフレームワーク
- Authors: Akchunya Chanchal, David A. Kelly, Hana Chockler,
- Abstract要約: アクティベーション・デアクティベーション(AD)は、モデルの決定から排除された入力特徴の影響を取り除く。
トレーニング済みの畳み込みニューラルネットワーク(CNN)に簡単に追加できるドロップイン機構であるConvADを導入する。
我々は、ConvAD機構がネットワークの意思決定プロセスを変えていないことを証明した。
- 参考スコア(独自算出の注目度): 4.3331379059769395
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Black-box explainability methods are popular tools for explaining the decisions of image classifiers. A major drawback of these tools is their reliance on mutants obtained by occluding parts of the input, leading to out-of-distribution images. This raises doubts about the quality of the explanations. Moreover, choosing an appropriate occlusion value often requires domain knowledge. In this paper we introduce a novel forward-pass paradigm Activation-Deactivation (AD), which removes the effects of occluded input features from the model's decision-making by switching off the parts of the model that correspond to the occlusions. We introduce ConvAD, a drop-in mechanism that can be easily added to any trained Convolutional Neural Network (CNN), and which implements the AD paradigm. This leads to more robust explanations without any additional training or fine-tuning. We prove that the ConvAD mechanism does not change the decision-making process of the network. We provide experimental evaluation across several datasets and model architectures. We compare the quality of AD-explanations with explanations achieved using a set of masking values, using the proxies of robustness, size, and confidence drop-off. We observe a consistent improvement in robustness of AD explanations (up to 62.5%) compared to explanations obtained with occlusions, demonstrating that ConvAD extracts more robust explanations without the need for domain knowledge.
- Abstract(参考訳): ブラックボックスの説明可能性法は、画像分類器の決定を説明する一般的なツールである。
これらのツールの大きな欠点は、入力の一部を取り除いた変異体に依存しており、分布外画像に繋がる点である。
これは説明の質に疑問を呈する。
さらに、適切な閉塞値を選択するには、しばしばドメイン知識が必要である。
本稿では, 排除された入力特徴の影響をモデルの決定から除去し, 閉塞に対応するモデルの部分をオフにすることで, フォワードパスのパラダイムであるアクティベーション・デアクティベーション(AD)を導入する。
本稿では,任意のトレーニング済み畳み込みニューラルネットワーク(CNN)に簡単に追加可能な,ADパラダイムを実装したドロップイン機構であるConvADを紹介する。
これにより、追加のトレーニングや微調整なしに、より堅牢な説明が可能になる。
我々は、ConvAD機構がネットワークの意思決定プロセスを変えていないことを証明した。
いくつかのデータセットとモデルアーキテクチャにまたがって実験的な評価を提供する。
我々は,AD説明の質を,マスキング値の集合を用いて達成した説明と比較し,ロバスト性,サイズ,信頼性低下のプロキシを用いて比較した。
我々は, ドメイン知識を必要とせずに, より堅牢な説明を抽出できることを実証し, 閉塞による説明と比較してAD説明の堅牢性(最大62.5%)が一貫した改善(最大62.5%)を観察した。
関連論文リスト
- Pathwise Explanation of ReLU Neural Networks [20.848391252661074]
本稿では,意思決定経路に関わる隠蔽単位の部分集合を考慮した新しい手法を提案する。
このパスワイズな説明は、入力と意思決定プロセスの関係について、より明確で一貫性のある理解を提供する。
論文 参考訳(メタデータ) (2025-06-22T13:41:42Z) - Towards Counterfactual and Contrastive Explainability and Transparency of DCNN Image Classifiers [0.9831489366502298]
本稿では,DCNNモデルに対して,解釈可能な逆ファクトおよび対照的な説明を生成する手法を提案する。
提案手法は、入力画像を変更するのではなく、DCNNの内部動作を探索するモデル侵入型である。
この手法の興味深い応用の1つは誤分類解析であり、特定の入力画像から識別された概念を比較し、クラス固有の概念と比較し、モデルの判断の有効性を確立する。
論文 参考訳(メタデータ) (2025-01-12T14:54:02Z) - Manipulating Feature Visualizations with Gradient Slingshots [53.94925202421929]
特徴可視化(FV)は、ディープニューラルネットワーク(DNN)で学んだ概念を解釈するための広く使われている手法である。
本稿では,モデルアーキテクチャを変更したり,性能を著しく劣化させたりすることなくFVの操作を可能にする新しい手法,Gradient Slingshotsを提案する。
論文 参考訳(メタデータ) (2024-01-11T18:57:17Z) - Towards Better Visualizing the Decision Basis of Networks via Unfold and Conquer Attribution Guidance [29.016425469068587]
本稿では,ネットワーク決定の妥当性を高める新しいフレームワークUnfold and Conquer Guidance(UCAG)を提案する。
UCAGは画像のスライスに対する自信に順応し、豊富な明確な解釈をもたらす。
いくつかのメトリクスで性能を検証するために、多数の評価を行います。
論文 参考訳(メタデータ) (2023-12-21T03:43:19Z) - Learning Transferable Conceptual Prototypes for Interpretable
Unsupervised Domain Adaptation [79.22678026708134]
本稿では,Transferable Prototype Learning (TCPL) という,本質的に解釈可能な手法を提案する。
この目的を達成するために、ソースドメインからターゲットドメインにカテゴリの基本概念を転送する階層的なプロトタイプモジュールを設計し、基礎となる推論プロセスを説明するためにドメイン共有プロトタイプを学習する。
総合的な実験により,提案手法は有効かつ直感的な説明を提供するだけでなく,従来の最先端技術よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-10-12T06:36:41Z) - Explaining Cross-Domain Recognition with Interpretable Deep Classifier [100.63114424262234]
解釈可能なDeep(IDC)は、ターゲットサンプルの最も近いソースサンプルを、分類器が決定を下す証拠として学習する。
我々のIDCは、精度の劣化がほとんどなく、最適なリジェクションオプションの分類を効果的に調整する、より説明可能なモデルに導かれる。
論文 参考訳(メタデータ) (2022-11-15T15:58:56Z) - ADVISE: ADaptive Feature Relevance and VISual Explanations for
Convolutional Neural Networks [0.745554610293091]
本稿では,機能マップの各ユニットの関連性を定量化し,活用して視覚的説明を提供する新しい説明可能性手法であるADVISEを紹介する。
我々は、画像分類タスクにおいて、AlexNet、VGG16、ResNet50、XceptionをImageNetで事前訓練した上で、我々のアイデアを広く評価する。
さらに,ADVISEは衛生チェックをパスしながら,感度および実装独立性公理を満たすことを示す。
論文 参考訳(メタデータ) (2022-03-02T18:16:57Z) - KAT: A Knowledge Augmented Transformer for Vision-and-Language [56.716531169609915]
我々は、OK-VQAのオープンドメインマルチモーダルタスクにおいて、最先端の強力な結果をもたらす新しいモデルである知識拡張トランスフォーマー(KAT)を提案する。
提案手法は,エンド・ツー・エンドのエンコーダ・デコーダアーキテクチャにおいて暗黙的かつ明示的な知識を統合しつつ,回答生成時に両知識源を共同で推論する。
我々の分析では、モデル予測の解釈可能性の向上に、明示的な知識統合のさらなる利点が見られる。
論文 参考訳(メタデータ) (2021-12-16T04:37:10Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳(メタデータ) (2021-03-18T12:57:34Z) - Explainable Deep Classification Models for Domain Generalization [94.43131722655617]
説明は、深い分類網が決定を下す視覚的証拠の領域として定義される。
トレーニング戦略は周期的な正当性に基づくフィードバックを強制し、モデルが地中真実に直接対応する画像領域に焦点を合わせることを奨励する。
論文 参考訳(メタデータ) (2020-03-13T22:22:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。