論文の概要: Foiling Explanations in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2211.14860v3
- Date: Sun, 13 Aug 2023 16:37:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 22:56:44.118580
- Title: Foiling Explanations in Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークにおけるフォアリング説明
- Authors: Snir Vitrack Tamam, Raz Lapid, Moshe Sipper
- Abstract要約: 本稿では,画像ベースDNNにおける説明手法の問題点を明らかにする。
進化戦略を用いて、説明を任意に操作する方法を実証する。
我々の新しいアルゴリズムは、人間の目では認識できない方法で画像の操作に成功している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) have greatly impacted numerous fields over the
past decade. Yet despite exhibiting superb performance over many problems,
their black-box nature still poses a significant challenge with respect to
explainability. Indeed, explainable artificial intelligence (XAI) is crucial in
several fields, wherein the answer alone -- sans a reasoning of how said answer
was derived -- is of little value. This paper uncovers a troubling property of
explanation methods for image-based DNNs: by making small visual changes to the
input image -- hardly influencing the network's output -- we demonstrate how
explanations may be arbitrarily manipulated through the use of evolution
strategies. Our novel algorithm, AttaXAI, a model-agnostic, adversarial attack
on XAI algorithms, only requires access to the output logits of a classifier
and to the explanation map; these weak assumptions render our approach highly
useful where real-world models and data are concerned. We compare our method's
performance on two benchmark datasets -- CIFAR100 and ImageNet -- using four
different pretrained deep-learning models: VGG16-CIFAR100, VGG16-ImageNet,
MobileNet-CIFAR100, and Inception-v3-ImageNet. We find that the XAI methods can
be manipulated without the use of gradients or other model internals. Our novel
algorithm is successfully able to manipulate an image in a manner imperceptible
to the human eye, such that the XAI method outputs a specific explanation map.
To our knowledge, this is the first such method in a black-box setting, and we
believe it has significant value where explainability is desired, required, or
legally mandatory.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、過去10年間に多くの分野に大きな影響を与えてきた。
しかし、多くの問題に対して優れたパフォーマンスを示すにもかかわらず、ブラックボックスの性質は説明可能性に関して依然として大きな課題となっている。
実際、説明可能な人工知能(XAI)はいくつかの分野で重要である。
本稿では、画像ベースDNNにおける説明手法の厄介な性質を明らかにする: 入力画像に小さな視覚的変化を加えることで、ネットワークの出力に影響を与えることがほとんどなく、進化戦略を用いて、どのように説明が任意に操作されるかを実証する。
我々の新しいアルゴリズムであるAttaXAIは、XAIアルゴリズムに対するモデルに依存しない、敵対的な攻撃であり、分類器の出力ロジットと説明マップへのアクセスしか必要としない。
ベンチマークデータセットであるcifar100とimagenetのパフォーマンスを,vgg16-cifar100,vgg16-imagenet,mobilenet-cifar100,inception-v3-imagenetの4つの異なるディープラーニングモデルを用いて比較した。
XAI法は勾配やモデル内部を使わずに操作できることがわかった。
我々の新しいアルゴリズムは、XAI法が特定の説明図を出力するように、人間の目では認識できない方法で画像を操作できる。
我々の知る限り、これはブラックボックス設定における最初の方法であり、説明責任が望まれ、必要であり、法的に義務付けられている重要な価値があると考えている。
関連論文リスト
- Enhancing Counterfactual Image Generation Using Mahalanobis Distance with Distribution Preferences in Feature Space [7.00851481261778]
人工知能(AI)の領域では、説明可能な人工知能(XAI)の重要性がますます認識されている。
1つの注目すべきシングルインスタンスXAIアプローチは、モデルの決定を理解するのに役立つ、反ファクトな説明である。
本稿では,ブラックボックスモデルの特徴空間における特徴量の重要性を計算するための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-31T08:26:53Z) - Solving the enigma: Deriving optimal explanations of deep networks [3.9584068556746246]
本稿では,ディープネットワークの説明可能性を高めるための新しいフレームワークを提案する。
本フレームワークは,確立したXAI手法の様々な説明を統合し,非説明を用いて最適な説明を構築する。
以上の結果から,特定基準に基づく最適説明が導出可能であることが示唆された。
論文 参考訳（メタデータ） (2024-05-16T11:49:08Z) - Advancing Post Hoc Case Based Explanation with Feature Highlighting [0.8287206589886881]
テスト画像中の複数の明瞭な特徴部分を分離し、トレーニングデータに見られる説明事例に接続する2つの一般的なアルゴリズムを提案する。
提案手法は,実世界データにおける曖昧な分類に対して,ユーザの「正確さ」感を適切に校正することを示す。
論文 参考訳（メタデータ） (2023-11-06T16:34:48Z) - MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。
所望のプロパティを統一する単段および単段のMOCAを提案する。
我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2023-07-18T15:46:20Z) - Towards Better Explanations for Object Detection [0.0]
本稿では,D-CLOSEと呼ばれるオブジェクト検出モデルについて,その決定を説明する手法を提案する。
我々は,YOLOXモデルを用いてMS-COCOデータセットの試験を行い,本手法がD-RISEより優れていることを示す。
論文 参考訳（メタデータ） (2023-06-05T09:52:05Z) - Visual correspondence-based explanations improve AI robustness and
human-AI team accuracy [7.969008943697552]
自己解釈可能な画像分類器の2つの新しいアーキテクチャを提案し、まず最初に説明し、次に予測する。
当社のモデルは、アウト・オブ・ディストリビューション(OOD)データセットにおいて、一貫して(1ポイントから4ポイント)改善しています。
ImageNetとCUBの画像分類タスクにおいて、補完的な人間-AIチームの精度(つまり、AI-aloneか人間-aloneよりも高い)を初めて達成できることが示される。
論文 参考訳（メタデータ） (2022-07-26T10:59:42Z) - Adaptive Convolutional Dictionary Network for CT Metal Artifact
Reduction [62.691996239590125]
本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。
我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。
本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
論文 参考訳（メタデータ） (2022-05-16T06:49:36Z) - Image Restoration by Deep Projected GSURE [115.57142046076164]
Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。
本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-04T08:52:46Z) - What Do Deep Nets Learn? Class-wise Patterns Revealed in the Input Space [88.37185513453758]
本研究では,深層ニューラルネットワーク(DNN)が学習するクラスワイズな知識を,異なる環境下で可視化し,理解する手法を提案する。
本手法は,各クラスのモデルが学習した知識を表現するために,画素空間内の1つの予測パターンを探索する。
逆境環境では、逆境に訓練されたモデルはより単純化された形状パターンを学ぶ傾向がある。
論文 参考訳（メタデータ） (2021-01-18T06:38:41Z) - This is not the Texture you are looking for! Introducing Novel
Counterfactual Explanations for Non-Experts using Generative Adversarial
Learning [59.17685450892182]
反実用説明システムは、入力画像を変更して反実用推論を可能にする。
本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。
その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
論文 参考訳（メタデータ） (2020-12-22T10:08:05Z) - Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。
次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。
最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。
本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
論文 参考訳（メタデータ） (2020-08-25T06:00:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。