論文の概要: The Effect of Similarity Measures on Accurate Stability Estimates for Local Surrogate Models in Text-based Explainable AI
- arxiv url: http://arxiv.org/abs/2406.15839v1
- Date: Sat, 22 Jun 2024 12:59:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 20:25:27.715053
- Title: The Effect of Similarity Measures on Accurate Stability Estimates for Local Surrogate Models in Text-based Explainable AI
- Title（参考訳）: テキストベース説明可能なAIにおける局所サロゲートモデルの精度安定度に及ぼす類似度の影響
- Authors: Christopher Burger, Charles Walter, Thai Le,
- Abstract要約: 類似度尺度の貧弱な選択は、XAI法の有効性に関する誤った結論をもたらす可能性がある。
本稿では,Kendall's Tau,Spearman's Footrule, Rank-biased Overlapなど,テキストベースのランクリスト用に設計された類似度尺度について検討する。
- 参考スコア（独自算出の注目度）: 8.23094630594374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work has investigated the vulnerability of local surrogate methods to adversarial perturbations on a machine learning (ML) model's inputs, where the explanation is manipulated while the meaning and structure of the original input remains similar under the complex model. While weaknesses across many methods have been shown to exist, the reasons behind why still remain little explored. Central to the concept of adversarial attacks on explainable AI (XAI) is the similarity measure used to calculate how one explanation differs from another A poor choice of similarity measure can result in erroneous conclusions on the efficacy of an XAI method. Too sensitive a measure results in exaggerated vulnerability, while too coarse understates its weakness. We investigate a variety of similarity measures designed for text-based ranked lists including Kendall's Tau, Spearman's Footrule and Rank-biased Overlap to determine how substantial changes in the type of measure or threshold of success affect the conclusions generated from common adversarial attack processes. Certain measures are found to be overly sensitive, resulting in erroneous estimates of stability.
- Abstract（参考訳）: 最近の研究は、機械学習(ML)モデルの入力に対する対向的摂動に対する局所的代理法(英語版)の脆弱性について検討している。
多くの方法にまたがる弱点が存在することが示されているが、その理由はいまだほとんど調査されていない。
説明可能なAI(XAI)に対する敵対的攻撃の概念の中心は、ある説明が別の説明とどのように異なるかを計算するのに使用される類似度尺度である。
過度に敏感な測定は過大な脆弱性をもたらすが、過度に弱さを減らしている。
我々は、ケンドールのタウ、スピアマンのフットルール、ランクバイアスオーバーラップなど、テキストベースのランクリストのために設計された様々な類似度尺度について検討し、一般的な敵攻撃プロセスから生じる結論に、測定値や成功のしきい値の実質的な変化がどの程度影響するかを検証した。
ある種の測定は過度に敏感であることが判明し、誤った安定性の見積がもたらされる。
関連論文リスト
- Detecting Adversarial Attacks in Semantic Segmentation via Uncertainty Estimation: A Deep Analysis [12.133306321357999]
セグメンテーションのためのニューラルネットワークに対する敵攻撃を検出する不確実性に基づく手法を提案する。
我々は,不確実性に基づく敵攻撃の検出と様々な最先端ニューラルネットワークの詳細な解析を行う。
提案手法の有効性を示す数値実験を行った。
論文 参考訳（メタデータ） (2024-08-19T14:13:30Z) - Uncertainty in Additive Feature Attribution methods [34.80932512496311]
本稿では,付加的特徴帰属説明法のクラスに焦点をあてる。
特徴の属性と不確実性との関係を考察し,相関関係をほとんど観察しない。
このようなインスタンスに対して"stable instance"という用語を作り、インスタンスを安定させる要因を診断します。
論文 参考訳（メタデータ） (2023-11-29T08:40:46Z) - Causal Fair Metric: Bridging Causality, Individual Fairness, and
Adversarial Robustness [7.246701762489971]
モデル内の脆弱性の特定や、類似した個人を公平に扱うことを目的とした個々の公正性に使用される対向的摂動は、どちらも同等の入力データインスタンスを生成するためのメトリクスに依存している。
このような共同メトリクスを定義する以前の試みは、データや構造因果モデルに関する一般的な仮定を欠くことが多く、反事実的近接を反映できなかった。
本稿では, 因果的属性と保護された因果的摂動を含む因果的構造に基づいて定式化された因果的公正度について紹介する。
論文 参考訳（メタデータ） (2023-10-30T09:53:42Z) - An Experimental Investigation into the Evaluation of Explainability
Methods [60.54170260771932]
この研究は、9つの最先端XAI法と3つのダミー法(例えば、ランダム・サリエンシ・マップ)に適用された14の異なるメトリクスを比較した。
実験の結果、これらの指標のどれが高い相関関係を示し、潜在的な冗長性を示している。
論文 参考訳（メタデータ） (2023-05-25T08:07:07Z) - A Practical Upper Bound for the Worst-Case Attribution Deviations [21.341303776931532]
モデル属性は、複雑なモデルに対する解釈可能性において、ディープニューラルネットワーク(DNN)の重要な構成要素である。
近年の研究では、属性が異なる類似画像を生成する属性攻撃に弱いため、属性手法の安全性に注意が向けられている。
既存の研究はこれらの攻撃に対するDNNの堅牢性を実証的に改善している。
この研究において、制約付き最適化問題を初めて定式化し、ある領域内の雑音によってサンプルが摂動した後の属性の最大の相違を測る上限を導出する。
論文 参考訳（メタデータ） (2023-03-01T09:07:27Z) - In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。
実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。
また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
論文 参考訳（メタデータ） (2022-12-20T14:06:50Z) - Improving Adversarial Robustness to Sensitivity and Invariance Attacks
with Deep Metric Learning [80.21709045433096]
対向ロバスト性の標準的な方法は、サンプルを最小に摂動させることによって作られたサンプルに対して防御する枠組みを仮定する。
距離学習を用いて、最適輸送問題として逆正則化をフレーム化する。
予備的な結果から, 変分摂動の規則化は, 変分防御と敏感防御の両方を改善することが示唆された。
論文 参考訳（メタデータ） (2022-11-04T13:54:02Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳（メタデータ） (2021-06-18T16:34:23Z) - Detecting Word Sense Disambiguation Biases in Machine Translation for
Model-Agnostic Adversarial Attacks [84.61578555312288]
本稿では,統計的データ特性に基づく曖昧な誤りの予測手法を提案する。
我々は,曖昧な誤りを生じさせるため,文の摂動を最小限に抑える,単純な敵攻撃戦略を開発する。
以上の結果から,曖昧さの堅牢性はドメイン間で大きく異なり,同一データ上でトレーニングされた異なるモデルが異なる攻撃に対して脆弱であることが示唆された。
論文 参考訳（メタデータ） (2020-11-03T17:01:44Z) - Metrics and methods for robustness evaluation of neural networks with
generative models [0.07366405857677225]
近年、特にコンピュータビジョンにおいて、研究者たちは回転、明るさの変化、より高レベルな変化などの「自然な」あるいは「意味的な」摂動を発見した。
本稿では,分類器の頑健度を自然な逆数例に測定するための指標と,それらの評価方法を提案する。
論文 参考訳（メタデータ） (2020-03-04T10:58:59Z) - Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial
Perturbations [65.05561023880351]
敵の例は誤分類を引き起こすために作られた悪意のある入力である。
本稿では, 相補的障害モード, 不変性に基づく逆数例について検討する。
感度に基づく攻撃に対する防御は、不変性に基づく攻撃に対するモデルの精度を積極的に損なうことを示す。
論文 参考訳（メタデータ） (2020-02-11T18:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。