論文の概要: Saliency-Bench: A Comprehensive Benchmark for Evaluating Visual Explanations
- arxiv url: http://arxiv.org/abs/2310.08537v3
- Date: Mon, 03 Mar 2025 09:26:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:10:26.214532
- Title: Saliency-Bench: A Comprehensive Benchmark for Evaluating Visual Explanations
- Title（参考訳）: Saliency-Bench: ビジュアル説明を評価するための総合ベンチマーク
- Authors: Yifei Zhang, James Song, Siyi Gu, Tianxu Jiang, Bo Pan, Guangji Bai, Liang Zhao,
- Abstract要約: Saliency-Benchは、複数のデータセットにわたるSaliencyメソッドによって生成された視覚的説明を評価するために設計された、新しいベンチマークスイートである。
ベンチマークには、視覚的説明の忠実さと整合性を評価するための標準化された統一された評価パイプラインが含まれている。
- 参考スコア（独自算出の注目度）: 14.09795099827903
- License:
- Abstract: Explainable AI (XAI) has gained significant attention for providing insights into the decision-making processes of deep learning models, particularly for image classification tasks through visual explanations visualized by saliency maps. Despite their success, challenges remain due to the lack of annotated datasets and standardized evaluation pipelines. In this paper, we introduce Saliency-Bench, a novel benchmark suite designed to evaluate visual explanations generated by saliency methods across multiple datasets. We curated, constructed, and annotated eight datasets, each covering diverse tasks such as scene classification, cancer diagnosis, object classification, and action classification, with corresponding ground-truth explanations. The benchmark includes a standardized and unified evaluation pipeline for assessing faithfulness and alignment of the visual explanation, providing a holistic visual explanation performance assessment. We benchmark these eight datasets with widely used saliency methods on different image classifier architectures to evaluate explanation quality. Additionally, we developed an easy-to-use API for automating the evaluation pipeline, from data accessing, and data loading, to result evaluation. The benchmark is available via our website: https://xaidataset.github.io.
- Abstract（参考訳）: 説明可能なAI(XAI)は、深層学習モデルの意思決定プロセス、特に画像分類タスクについて、唾液マップで視覚化された視覚的説明を通じて洞察を提供することによって、大きな注目を集めている。
彼らの成功にもかかわらず、注釈付きデータセットと標準化された評価パイプラインが欠如しているため、課題は残る。
本稿では,複数のデータセットにまたがってサリエンシ手法によって生成される視覚的説明を評価するために設計された,新しいベンチマークスイートであるSaliency-Benchを紹介する。
現場分類, 癌診断, 対象分類, 行動分類など, 8つのデータセットを整理, 構築し, 注釈付けした。
このベンチマークには、視覚的説明の忠実さと整合性を評価するための標準化された統一された評価パイプラインが含まれており、全体的な視覚的説明性能の評価を提供する。
我々は,これらの8つのデータセットを,画像分類器アーキテクチャ上で広く使用されている精度手法でベンチマークし,説明品質を評価する。
さらに,データアクセスやデータ読み込みから結果評価まで,評価パイプラインを自動化するための使いやすいAPIを開発した。
ベンチマークはWebサイトから入手可能だ。
関連論文リスト
- MEGL: Multimodal Explanation-Guided Learning [23.54169888224728]
本稿では,モデル解釈性の向上と分類性能の向上を目的とした,新しいマルチモーダル説明誘導学習(MEGL)フレームワークを提案する。
我々のSDTG(Saliency-Driven Textual Grounding)アプローチは、視覚的説明からテキスト論理へ空間情報を統合し、空間的根拠と文脈的リッチな説明を提供する。
我々は、マルチモーダルな説明を伴う画像分類のための2つの新しいデータセットであるObject-MEとAction-MEでMEGLを検証した。
論文 参考訳（メタデータ） (2024-11-20T05:57:00Z) - Intrinsic Subgraph Generation for Interpretable Graph based Visual Question Answering [27.193336817953142]
グラフに基づく視覚質問応答(VQA)に対する解釈可能なアプローチを提案する。
本モデルは,問合せ処理中に本質的にサブグラフを生成するように設計されている。
生成した部分グラフを,グラフニューラルネットワークの確立したポストホックな説明可能性法と比較し,人的評価を行う。
論文 参考訳（メタデータ） (2024-03-26T12:29:18Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T23:24:01Z) - Dynamic Clue Bottlenecks: Towards Interpretable-by-Design Visual Question Answering [58.64831511644917]
本稿では, モデル決定を中間的人間法的な説明に分解する設計モデルを提案する。
我々は、我々の本質的に解釈可能なシステムは、推論に焦点をあてた質問において、同等のブラックボックスシステムよりも4.64%改善できることを示した。
論文 参考訳（メタデータ） (2023-05-24T08:33:15Z) - Towards Unsupervised Visual Reasoning: Do Off-The-Shelf Features Know
How to Reason? [30.16956370267339]
視覚質問応答のタスクに対する視覚的表現を評価するためのプロトコルを提案する。
視覚的特徴抽出を推論から分離するために,特定の注意に基づく推論モジュールを設計する。
局所的な特徴を密に抽出した2種類の視覚表現とオブジェクト中心の視覚表現を、基底真理を用いた完全な画像表現の性能と比較する。
論文 参考訳（メタデータ） (2022-12-20T14:36:45Z) - REVEL Framework to measure Local Linear Explanations for black-box
models: Deep Learning Image Classification case of study [12.49538398746092]
本稿では,理論的コヒーレントな発展を伴う説明の質に関する諸側面を評価するためのREVELと呼ばれる手法を提案する。
実験は,REVELの記述的および解析的パワーを示すベンチマークとして,画像4つのデータセットを用いて実施されている。
論文 参考訳（メタデータ） (2022-11-11T12:15:36Z) - Understanding ME? Multimodal Evaluation for Fine-grained Visual
Commonsense [98.70218717851665]
モデルが、限られた評価データ資源のために、視覚的シーンと基礎となるコモンセンス知識を本当に理解しているかどうかは不明だ。
本稿では,視覚シーン,テキスト,関連知識に対するモデルの理解をテストするために,質問応答ペアを自動的に生成するマルチモーダル評価(ME)パイプラインを提案する。
次に、MEデータによるトレーニングが標準VCR評価におけるモデルの性能を高めることを示すために、さらに一歩踏み出します。
論文 参考訳（メタデータ） (2022-11-10T21:44:33Z) - CX-ToM: Counterfactual Explanations with Theory-of-Mind for Enhancing
Human Trust in Image Recognition Models [84.32751938563426]
我々は、深層畳み込みニューラルネットワーク(CNN)による決定を説明するための、新しい説明可能なAI(XAI)フレームワークを提案する。
単発応答として説明を生成するXAIの現在の手法とは対照的に,我々は反復的な通信プロセスとして説明を行う。
本フレームワークは,機械の心と人間の心の相違を媒介し,対話における説明文のシーケンスを生成する。
論文 参考訳（メタデータ） (2021-09-03T09:46:20Z) - This is not the Texture you are looking for! Introducing Novel
Counterfactual Explanations for Non-Experts using Generative Adversarial
Learning [59.17685450892182]
反実用説明システムは、入力画像を変更して反実用推論を可能にする。
本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。
その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
論文 参考訳（メタデータ） (2020-12-22T10:08:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。