論文の概要: Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attribution Methods
- arxiv url: http://arxiv.org/abs/2405.02344v1
- Date: Thu, 2 May 2024 13:48:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 20:29:40.622434
- Title: Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attribution Methods
- Title（参考訳）: 属性手法の高精度評価のためのバックドアベース説明可能なAIベンチマーク
- Authors: Peiyu Yang, Naveed Akhtar, Jiantong Jiang, Ajmal Mian,
- Abstract要約: 属性法は入力特徴の重要度を計算し、深層モデルの出力予測を説明する。
本研究はまず,属性手法の信頼性ベンチマークが満たすであろう信頼度基準の集合を同定する。
次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
- 参考スコア（独自算出の注目度）: 49.62131719441252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attribution methods compute importance scores for input features to explain the output predictions of deep models. However, accurate assessment of attribution methods is challenged by the lack of benchmark fidelity for attributing model predictions. Moreover, other confounding factors in attribution estimation, including the setup choices of post-processing techniques and explained model predictions, further compromise the reliability of the evaluation. In this work, we first identify a set of fidelity criteria that reliable benchmarks for attribution methods are expected to fulfill, thereby facilitating a systematic assessment of attribution benchmarks. Next, we introduce a Backdoor-based eXplainable AI benchmark (BackX) that adheres to the desired fidelity criteria. We theoretically establish the superiority of our approach over the existing benchmarks for well-founded attribution evaluation. With extensive analysis, we also identify a setup for a consistent and fair benchmarking of attribution methods across different underlying methodologies. This setup is ultimately employed for a comprehensive comparison of existing methods using our BackX benchmark. Finally, our analysis also provides guidance for defending against backdoor attacks with the help of attribution methods.
- Abstract（参考訳）: 属性法は入力特徴の重要度を計算し、深層モデルの出力予測を説明する。
しかし, モデル予測のためのベンチマーク忠実度が欠如していることから, 帰属法を正確に評価することは困難である。
さらに、帰属推定における他の要因として、後処理手法のセットアップ選択やモデル予測の説明などがあり、評価の信頼性をさらに損なう。
本研究はまず,属性手法の信頼性ベンチマークが満たすであろう信頼度基準の集合を同定し,属性評価の体系的評価を容易にする。
次に、所望の忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
提案手法は,提案手法の既存ベンチマークに対する優位性を理論的に確立し,信頼性の高い属性評価を行う。
広範囲な分析により、異なる基礎となる方法論にまたがる属性メソッドの一貫性と公正なベンチマークのセットアップも特定できる。
このセットアップは最終的に、BackXベンチマークを使用して既存のメソッドを包括的に比較するために使用されます。
最後に,我々の分析は,帰属的手法の助けを借りてバックドア攻撃を防御するためのガイダンスも提供する。
関連論文リスト
- BEExAI: Benchmark to Evaluate Explainable AI [0.9176056742068812]
本稿では,ポストホックXAI手法の大規模比較を可能にするベンチマークツールであるBEExAIを提案する。
説明の質と正確性を測定するための信頼性の高い方法の必要性が重要になっていると論じる。
論文 参考訳（メタデータ） (2024-07-29T11:21:17Z) - On the Evaluation Consistency of Attribution-based Explanations [42.1421504321572]
本稿では,画像領域における属性メソッドのベンチマークを行うオープンプラットフォームであるMeta-Rankを紹介する。
1) 異なる設定下での属性評価手法の評価は、異なる性能ランキングを得ることができ、2) 多数のケースで矛盾するが、同一のトレーニング軌道に沿った個別のチェックポイントにまたがる顕著な一貫性を示す。
論文 参考訳（メタデータ） (2024-07-28T11:49:06Z) - Trustworthy Classification through Rank-Based Conformal Prediction Sets [9.559062601251464]
本稿では,分類モデルに適したランクベーススコア関数を用いた新しいコンフォメーション予測手法を提案する。
提案手法は,そのサイズを管理しながら,所望のカバレッジ率を達成する予測セットを構築する。
コントリビューションには、新しい共形予測法、理論的解析、経験的評価が含まれる。
論文 参考訳（メタデータ） (2024-07-05T10:43:41Z) - Conformal Approach To Gaussian Process Surrogate Evaluation With
Coverage Guarantees [47.22930583160043]
適応型クロスコンフォーマル予測区間を構築する手法を提案する。
結果として生じる共形予測区間は、ベイズ的信頼性集合に類似した適応性のレベルを示す。
原子炉の蒸気発生器における閉鎖現象の高コスト・評価シミュレータのサロゲートモデリングの文脈において, 本手法の適用可能性を示す。
論文 参考訳（メタデータ） (2024-01-15T14:45:18Z) - A Bayesian Approach to Robust Inverse Reinforcement Learning [54.24816623644148]
我々は、オフラインモデルに基づく逆強化学習(IRL)に対するベイズ的アプローチを考える。
提案フレームワークは,専門家の報酬関数と環境力学の主観的モデルとを同時推定することにより,既存のオフラインモデルベースIRLアプローチとは異なる。
本分析は, 専門家が環境の高精度なモデルを持つと考えられる場合, 評価政策が堅牢な性能を示すという新たな知見を提示する。
論文 参考訳（メタデータ） (2023-09-15T17:37:09Z) - TopP&R: Robust Support Estimation Approach for Evaluating Fidelity and
Diversity in Generative Models [9.048102020202817]
Topological Precision and Recall (TopP&R)は、サポートを推定するための体系的なアプローチを提供する。
以上の結果から,TopP&Rは非独立性および非非独立性(Non-IID)摂動に対して頑健であることがわかった。
これは、支持体のロバストな推定に焦点を当てた最初の評価指標であり、雑音下での統計的一貫性を提供する。
論文 参考訳（メタデータ） (2023-06-13T11:46:00Z) - Unifying Gradient Estimators for Meta-Reinforcement Learning via
Off-Policy Evaluation [53.83642844626703]
オフ・ポリシー評価に基づいて,高次値関数の高次微分を推定するための統一フレームワークを提供する。
本フレームワークは, ヘッセン推定の偏りと分散トレードオフを解明する特別事例として, 多くの先行的アプローチを解釈する。
論文 参考訳（メタデータ） (2021-06-24T15:58:01Z) - REAM$\sharp$: An Enhancement Approach to Reference-based Evaluation
Metrics for Open-domain Dialog Generation [63.46331073232526]
オープンドメイン対話システムにおける参照ベースのEvAluation Metricsの拡張手法を提案する。
予測モデルは、与えられた基準セットの信頼性を推定するように設計されている。
本稿では,その予測結果が参照集合の増大にどのように役立つかを示し,測定値の信頼性を向上させる。
論文 参考訳（メタデータ） (2021-05-30T10:04:13Z) - A Unified Taylor Framework for Revisiting Attribution Methods [49.03783992773811]
我々はTaylor属性フレームワークを提案し、7つの主流属性メソッドをフレームワークに再構成する。
我々はTaylor属性フレームワークにおいて、良い属性の3つの原則を確立する。
論文 参考訳（メタデータ） (2020-08-21T22:07:06Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳（メタデータ） (2020-05-31T05:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。