論文の概要: What Do You See? Evaluation of Explainable Artificial Intelligence (XAI)
Interpretability through Neural Backdoors
- arxiv url: http://arxiv.org/abs/2009.10639v1
- Date: Tue, 22 Sep 2020 15:53:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-15 21:33:40.558822
- Title: What Do You See? Evaluation of Explainable Artificial Intelligence (XAI)
Interpretability through Neural Backdoors
- Title（参考訳）: 何が見えるか?
ニューラルネットワークによる説明可能な人工知能(XAI)の解釈性の評価
- Authors: Yi-Shan Lin, Wen-Chuan Lee, Z. Berkay Celik
- Abstract要約: ディープニューラルネットワークが入力を予測する方法を理解するために、説明可能なAI(XAI)手法が提案されている。
現在の評価手法は、人間からの主観的な入力を必要とするか、あるいは自動評価を伴う高い計算コストを必要とする。
本稿では,不正分類の原因となる悪意のある機能を隠蔽したバックドアトリガーパターンを提案する。
- 参考スコア（独自算出の注目度）: 15.211935029680879
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: EXplainable AI (XAI) methods have been proposed to interpret how a deep
neural network predicts inputs through model saliency explanations that
highlight the parts of the inputs deemed important to arrive a decision at a
specific target. However, it remains challenging to quantify correctness of
their interpretability as current evaluation approaches either require
subjective input from humans or incur high computation cost with automated
evaluation. In this paper, we propose backdoor trigger patterns--hidden
malicious functionalities that cause misclassification--to automate the
evaluation of saliency explanations. Our key observation is that triggers
provide ground truth for inputs to evaluate whether the regions identified by
an XAI method are truly relevant to its output. Since backdoor triggers are the
most important features that cause deliberate misclassification, a robust XAI
method should reveal their presence at inference time. We introduce three
complementary metrics for systematic evaluation of explanations that an XAI
method generates and evaluate seven state-of-the-art model-free and
model-specific posthoc methods through 36 models trojaned with specifically
crafted triggers using color, shape, texture, location, and size. We discovered
six methods that use local explanation and feature relevance fail to completely
highlight trigger regions, and only a model-free approach can uncover the
entire trigger region.
- Abstract（参考訳）: 説明可能なAI(XAI)手法は、ディープニューラルネットワークが特定のターゲットで決定に到達する上で重要とされる入力の一部を強調したモデル唾液度説明を通じて、入力を予測する方法を理解するために提案されている。
しかし、現在の評価手法では人間からの主観的な入力を必要とするか、自動評価で高い計算コストを必要とするため、解釈可能性の正しさを定量化することは依然として困難である。
そこで,本稿では,誤分類の原因となる悪質な機能を隠蔽するバックドアトリガーパターンを提案する。
我々のキーとなる観察は、XAI法で同定された領域がその出力に真に関係しているかどうかを評価するための入力に対して、トリガーが基礎的な真実を提供することである。
バックドアトリガーは意図的な誤分類を引き起こす最も重要な特徴であるため、堅牢なXAI手法は推論時にその存在を明らかにする必要がある。
XAI法は, 色, 形状, テクスチャ, 位置, サイズを用いて, トリガを具体化した36種類のモデルを用いて, 最先端のモデルフリー, モデル固有のポストホック手法を生成・評価する。
局所的な説明と特徴関連性を利用する6つの手法がトリガー領域を完全に強調できず、モデルフリーアプローチのみがトリガー領域全体を明らかにすることができることがわかった。
関連論文リスト
- Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection [66.16595174895802]
既存のAI生成画像(AIGI)検出手法は、しばしば限定的な一般化性能に悩まされる。
本稿では、AIGI検出において、これまで見過ごされてきた重要な非対称性現象を同定する。
論文 参考訳（メタデータ） (2024-11-23T19:10:32Z) - Unsupervised Model Diagnosis [49.36194740479798]
本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。
提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
論文 参考訳（メタデータ） (2024-10-08T17:59:03Z) - Explainable AI needs formal notions of explanation correctness [2.1309989863595677]
医学のような重要な分野における機械学習はリスクをもたらし、規制を必要とする。
1つの要件は、リスクの高いアプリケーションにおけるMLシステムの決定は、人間に理解可能なものであるべきです。
現在の形式では、XAIはMLの品質管理に不適であり、それ自体は精査が必要である。
論文 参考訳（メタデータ） (2024-09-22T20:47:04Z) - T2IShield: Defending Against Backdoors on Text-to-Image Diffusion Models [70.03122709795122]
バックドア攻撃の検出, 局所化, 緩和のための総合防御手法T2IShieldを提案する。
バックドアトリガーによって引き起こされた横断アテンションマップの「アシミレーション現象」を見いだす。
バックドアサンプル検出のために、T2IShieldは計算コストの低い88.9$%のF1スコアを達成している。
論文 参考訳（メタデータ） (2024-07-05T01:53:21Z) - Model X-ray:Detecting Backdoored Models via Decision Boundary [62.675297418960355]
バックドア攻撃はディープニューラルネットワーク(DNN)に重大な脆弱性をもたらす
図形化された2次元(2次元)決定境界の解析に基づく新しいバックドア検出手法であるモデルX線を提案する。
提案手法は,クリーンサンプルが支配する意思決定領域とラベル分布の集中度に着目した2つの戦略を含む。
論文 参考訳（メタデータ） (2024-02-27T12:42:07Z) - FunnyBirds: A Synthetic Vision Dataset for a Part-Based Analysis of
Explainable AI Methods [15.073405675079558]
XAIは本質的に、根底的な説明を欠いているため、その自動評価は未解決の問題である。
本稿では,FunnyBirdsという新しい合成視覚データセットを提案する。
我々のツールを用いて、24種類のニューラルモデルとXAI手法の組み合わせの結果を報告する。
論文 参考訳（メタデータ） (2023-08-11T17:29:02Z) - Using Kernel SHAP XAI Method to optimize the Network Anomaly Detection
Model [0.0]
異常検出とその説明は、侵入検知、不正検出、未知の攻撃検出、ネットワークトラフィック、ログなど、多くの研究領域において重要である。
ひとつのインスタンスが異常である理由や説明を特定するのは難しいですか?
XAIは、Deep Learning (DL)のような複雑なモデルのアウトプットと動作を解釈し、説明するためのツールと技術を提供する。
論文 参考訳（メタデータ） (2023-07-31T18:47:45Z) - Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
本稿では,ニューラルモデルによる反事実文の評価について検討する。
まず、神経因果モデル(NCM)が十分に表現可能であることを示す。
第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-09-30T18:29:09Z) - Feature Visualization within an Automated Design Assessment leveraging
Explainable Artificial Intelligence Methods [0.0]
3次元CADデータから駆動されるディープラーニングシステムによって主に活用される自動能力評価について紹介した。
現在の評価システムは、抽象的な特徴に関してCADデータを評価することができるが、システム決定の理由に関する幾何学的な指標は持っていない。
NeuroCADプロジェクト内では、ある抽象的特徴に関連する幾何学的特徴を特定するためにxAIメソッドが使用される。
論文 参考訳（メタデータ） (2022-01-28T13:31:42Z) - Towards Better Model Understanding with Path-Sufficient Explanations [11.517059323883444]
Path-Sufficient Explanations Method (PSEM) は、厳格に小さくなった入力に対する十分な説明の系列である。
PSEMはモデルの局所的な境界を滑らかに辿り、特定の入力に対する局所的なモデルの振る舞いに関するより良い直感を与えると考えられる。
ユーザスタディでは、(多くの)ユーザがモデルによってなされた予測を正しく決定できる地域行動を伝える方法の強みを描いている。
論文 参考訳（メタデータ） (2021-09-13T16:06:10Z) - Scalable Backdoor Detection in Neural Networks [61.39635364047679]
ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。
本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。
実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
論文 参考訳（メタデータ） (2020-06-10T04:12:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。