論文の概要: Be Careful When Evaluating Explanations Regarding Ground Truth

• arxiv url: http://arxiv.org/abs/2311.04813v1
• Date: Wed, 8 Nov 2023 16:39:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 15:11:36.503055
• Title: Be Careful When Evaluating Explanations Regarding Ground Truth
• Title（参考訳）: 地上の真実に関する説明を評価するとき
• Authors: Hubert Baniecki, Maciej Chrabaszcz, Andreas Holzinger, Bastian Pfeifer, Anna Saranti, Przemyslaw Biecek
• Abstract要約: 地上の真実に関する画像の説明を評価することは、主に説明方法自体よりも、検討中のモデルの品質を評価する。 本稿では、説明システムと整合するシステムの相違性を評価するために、$textitjointly$のフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.340743580750642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating explanations of image classifiers regarding ground truth, e.g. segmentation masks defined by human perception, primarily evaluates the quality of the models under consideration rather than the explanation methods themselves. Driven by this observation, we propose a framework for $\textit{jointly}$ evaluating the robustness of safety-critical systems that $\textit{combine}$ a deep neural network with an explanation method. These are increasingly used in real-world applications like medical image analysis or robotics. We introduce a fine-tuning procedure to (mis)align model$\unicode{x2013}$explanation pipelines with ground truth and use it to quantify the potential discrepancy between worst and best-case scenarios of human alignment. Experiments across various model architectures and post-hoc local interpretation methods provide insights into the robustness of vision transformers and the overall vulnerability of such AI systems to potential adversarial attacks.
• Abstract（参考訳）: 人間の知覚によって定義されたセグメンテーションマスクなど、地上の真実に関する画像分類器の説明を評価することは、主に説明方法自体よりも検討中のモデルの品質を評価する。 そこで本稿では,この観察結果をもとに,安全性クリティカルシステムのロバスト性を評価するためのフレームワークである$\textit{jointly}$を提案する。 これらは、医用画像分析やロボティクスのような現実世界のアプリケーションでますます使われている。 我々は、(mis)align model$\unicode{x2013}$explanation pipelines with ground truth に微調整手順を導入し、人間のアライメントの最悪のシナリオと最善のシナリオの間の潜在的な不一致を定量化する。 さまざまなモデルアーキテクチャとポストホックなローカル解釈手法による実験は、視覚トランスフォーマーの堅牢性や、そのようなAIシステムの全体的な脆弱性に対する潜在的な敵攻撃に対する洞察を提供する。

関連論文リスト

• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• On the Road to Clarity: Exploring Explainable AI for World Models in a Driver Assistance System [3.13366804259509]
  我々は畳み込み変分オートエンコーダ(VAE)のための透明なバックボーンモデルを構築した。 本稿では,予測ネットワークの内部力学と特徴関連性に関する説明と評価手法を提案する。 本稿では,都市交通状況における歩行者の認識を予測したVAE-LSTM世界モデルの解析により,提案手法を実証する。
  論文  参考訳（メタデータ） (2024-04-26T11:57:17Z)
• CNN-based explanation ensembling for dataset, representation and explanations evaluation [1.1060425537315088]
  畳み込みモデルを用いた深層分類モデルによる説明文の要約の可能性について検討する。 実験と分析を通じて、モデル行動のより一貫性と信頼性のあるパターンを明らかにするために、説明を組み合わせることの意味を明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2024-04-16T08:39:29Z)
• Towards Evaluating Transfer-based Attacks Systematically, Practically, and Fairly [79.07074710460012]
  ディープニューラルネットワーク(DNN)の敵対的脆弱性に大きな注目を集めている。 ブラックボックスDNNモデルを騙すための転送ベース手法が増えている。 30以上のメソッドを実装した転送ベースアタックベンチマーク(TA-Bench)を確立する。
  論文  参考訳（メタデータ） (2023-11-02T15:35:58Z)
• FunnyBirds: A Synthetic Vision Dataset for a Part-Based Analysis of Explainable AI Methods [15.073405675079558]
  XAIは本質的に、根底的な説明を欠いているため、その自動評価は未解決の問題である。 本稿では,FunnyBirdsという新しい合成視覚データセットを提案する。 我々のツールを用いて、24種類のニューラルモデルとXAI手法の組み合わせの結果を報告する。
  論文  参考訳（メタデータ） (2023-08-11T17:29:02Z)
• Explanation Method for Anomaly Detection on Mixed Numerical and Categorical Spaces [0.9543943371833464]
  EADMNC (混合数値およびカテゴリー空間における説明可能な異常検出) これは、元のモデルで得られた予測に説明可能性を追加する。 本稿では,大規模な実世界のデータ,特にネットワーク侵入検出領域における実験結果について報告する。
  論文  参考訳（メタデータ） (2022-09-09T08:20:13Z)
• Explainers in the Wild: Making Surrogate Explainers Robust to Distortions through Perception [77.34726150561087]
  説明における歪みの影響を知覚距離を埋め込むことで評価する手法を提案する。 Imagenet-Cデータセットの画像の説明を生成し、サロゲート説明書の知覚距離を使用して歪んだ画像と参照画像のより一貫性のある説明を作成する方法を示しています。
  論文  参考訳（メタデータ） (2021-02-22T12:38:53Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• This is not the Texture you are looking for! Introducing Novel Counterfactual Explanations for Non-Experts using Generative Adversarial Learning [59.17685450892182]
  反実用説明システムは、入力画像を変更して反実用推論を可能にする。 本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。 その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-12-22T10:08:05Z)
• Ground Truth Evaluation of Neural Network Explanations with CLEVR-XAI [12.680653816836541]
  我々は,CLEVR視覚質問応答タスクに基づくXAI手法の基盤的真理に基づく評価フレームワークを提案する。 本フレームワークは,(1)選択的,(2)制御,(3)リアルなテストベッドをニューラルネットワークの説明評価のために提供する。
  論文  参考訳（メタデータ） (2020-03-16T14:43:33Z)
• Explainable Deep Classification Models for Domain Generalization [94.43131722655617]
  説明は、深い分類網が決定を下す視覚的証拠の領域として定義される。 トレーニング戦略は周期的な正当性に基づくフィードバックを強制し、モデルが地中真実に直接対応する画像領域に焦点を合わせることを奨励する。
  論文  参考訳（メタデータ） (2020-03-13T22:22:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。