論文の概要: When Can You Trust Your Explanations? A Robustness Analysis on Feature Importances

• arxiv url: http://arxiv.org/abs/2406.14349v2
• Date: Thu, 03 Apr 2025 14:59:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:53:46.359983
• Title: When Can You Trust Your Explanations? A Robustness Analysis on Feature Importances
• Title（参考訳）: 説明を信頼できるのはいつか? 特徴の重要度に関するロバストネス分析
• Authors: Ilaria Vascotto, Alex Rodriguez, Alessandro Bonaita, Luca Bortolussi,
• Abstract要約: 説明の堅牢性は、システムと提供された説明の両方を信頼する上で、中心的な役割を果たす。 本稿では,非対向摂動に対するニューラルネットワーク説明の頑健さを解析するための新しいアプローチを提案する。 さらに,様々な説明を集約するアンサンブル手法を提案し,モデルの決定を理解し,頑健さを評価することによって,説明の融合がいかに有用かを示す。
• 参考スコア（独自算出の注目度）: 42.36530107262305
• License:
• Abstract: Recent legislative regulations have underlined the need for accountable and transparent artificial intelligence systems and have contributed to a growing interest in the Explainable Artificial Intelligence (XAI) field. Nonetheless, the lack of standardized criteria to validate explanation methodologies remains a major obstacle to developing trustworthy systems. We address a crucial yet often overlooked aspect of XAI, the robustness of explanations, which plays a central role in ensuring trust in both the system and the provided explanation. To this end, we propose a novel approach to analyse the robustness of neural network explanations to non-adversarial perturbations, leveraging the manifold hypothesis to produce new perturbed datapoints that resemble the observed data distribution. We additionally present an ensemble method to aggregate various explanations, showing how merging explanations can be beneficial for both understanding the model's decision and evaluating the robustness. The aim of our work is to provide practitioners with a framework for evaluating the trustworthiness of model explanations. Experimental results on feature importances derived from neural networks applied to tabular datasets highlight the importance of robust explanations in practical applications.
• Abstract（参考訳）: 近年の法規制では、説明可能な透明な人工知能システムの必要性が低くなり、説明可能な人工知能(XAI)分野への関心が高まっている。 それでも、説明方法論を検証するための標準化基準の欠如は、信頼できるシステムを開発する上で大きな障害となっている。 我々は、システムと提供された説明の両方を信頼する上で中心的な役割を果たす説明の堅牢性という、XAIの重要かつ見落とされがちな側面に対処する。 そこで本研究では, ニューラルネットワークの説明の頑健さを非逆摂動に解析し, 多様体仮説を利用して観測されたデータ分布に類似した新しい摂動データポイントを生成する手法を提案する。 さらに,様々な説明を集約するアンサンブル法を提案し,モデルの決定を理解し,頑健さを評価することによって,説明の融合がいかに有用かを示す。 本研究の目的は,モデル説明の信頼性を評価する枠組みを実践者に提供することである。 グラフデータセットに適用されたニューラルネットワークから得られる特徴的重要性に関する実験結果は、実用的な応用におけるロバストな説明の重要性を強調している。

関連論文リスト

• Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
  計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。 ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。 我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
  論文  参考訳（メタデータ） (2025-02-18T02:26:50Z)
• Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
  モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。 本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T09:13:11Z)
• Trustworthy Artificial Intelligence Framework for Proactive Detection and Risk Explanation of Cyber Attacks in Smart Grid [11.122588110362706]
  分散型エネルギー資源(DER)の急速な成長は、グリッドコントローラに重大なサイバーセキュリティと信頼の課題をもたらす。 信頼性の高いスマートグリッドコントローラを実現するために,DERの制御・統計メッセージによって引き起こされるサイバーリスクを積極的に識別し,説明するための,信頼できる人工知能(AI)機構について検討する。
  論文  参考訳（メタデータ） (2023-06-12T02:28:17Z)
• On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model, Data, and Training [109.9218185711916]
  アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。 我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
  論文  参考訳（メタデータ） (2023-04-19T11:07:43Z)
• Causality-Aware Local Interpretable Model-Agnostic Explanations [7.412445894287709]
  本稿では,インスタンスを取り巻くデータ内の明確な因果関係をエンコードする,広く使われている局所的およびモデルに依存しない説明器の拡張を提案する。 提案手法は,ブラックボックスモデルのメカニズムと生成した説明の一貫性と信頼性を忠実に再現する上で,元の手法を克服する。
  論文  参考訳（メタデータ） (2022-12-10T10:12:27Z)
• SAFARI: Versatile and Efficient Evaluations for Robustness of Interpretability [11.230696151134367]
  ディープラーニング(DL)の解釈可能性(Interpretability of Deep Learning)は、信頼できるAIの障壁である。 XAI法を考慮すれば, DLの堅牢性を評価することが不可欠である。
  論文  参考訳（メタデータ） (2022-08-19T16:07:22Z)
• Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
  反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。 現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。 本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T20:48:48Z)
• Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
  クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
  論文  参考訳（メタデータ） (2021-05-23T01:50:44Z)
• Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks [15.217367754000913]
  敵の例に抵抗する高い堅牢性を持つモデルを得ることがますます重要である。 我々は、敵の攻撃と堅牢性について、予備的な定義を与える。 我々は、頻繁に使用されるベンチマークについて研究し、理論的に証明された敵の堅牢性の境界について言及する。
  論文  参考訳（メタデータ） (2020-11-03T07:42:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。