論文の概要: F-Fidelity: A Robust Framework for Faithfulness Evaluation of Explainable AI
- arxiv url: http://arxiv.org/abs/2410.02970v1
- Date: Thu, 3 Oct 2024 20:23:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-03 04:45:27.602910
- Title: F-Fidelity: A Robust Framework for Faithfulness Evaluation of Explainable AI
- Title（参考訳）: F-Fidelity: 説明可能なAIの忠実度評価のためのロバストなフレームワーク
- Authors: Xu Zheng, Farhad Shirani, Zhuomin Chen, Chaohao Lin, Wei Cheng, Wenbo Guo, Dongsheng Luo,
- Abstract要約: 微調整フィデリティF-フィデリティはXAIの堅牢な評価フレームワークである。
その結果, F-Fidelity は, 説明者の信頼度を回復する上で, 事前評価基準を著しく改善することを示した。
また,F-Fidelityの指標を忠実に説明すれば,入力成分の空間性を計算することができることを示す。
- 参考スコア（独自算出の注目度）: 15.314388210699443
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent research has developed a number of eXplainable AI (XAI) techniques. Although extracting meaningful insights from deep learning models, how to properly evaluate these XAI methods remains an open problem. The most widely used approach is to perturb or even remove what the XAI method considers to be the most important features in an input and observe the changes in the output prediction. This approach although efficient suffers the Out-of-Distribution (OOD) problem as the perturbed samples may no longer follow the original data distribution. A recent method RemOve And Retrain (ROAR) solves the OOD issue by retraining the model with perturbed samples guided by explanations. However, the training may not always converge given the distribution difference. Furthermore, using the model retrained based on XAI methods to evaluate these explainers may cause information leakage and thus lead to unfair comparisons. We propose Fine-tuned Fidelity F-Fidelity, a robust evaluation framework for XAI, which utilizes i) an explanation-agnostic fine-tuning strategy, thus mitigating the information leakage issue and ii) a random masking operation that ensures that the removal step does not generate an OOD input. We designed controlled experiments with state-of-the-art (SOTA) explainers and their degraded version to verify the correctness of our framework. We conducted experiments on multiple data structures, such as images, time series, and natural language. The results demonstrate that F-Fidelity significantly improves upon prior evaluation metrics in recovering the ground-truth ranking of the explainers. Furthermore, we show both theoretically and empirically that, given a faithful explainer, F-Fidelity metric can be used to compute the sparsity of influential input components, i.e., to extract the true explanation size.
- Abstract（参考訳）: 近年の研究では、多くのeXplainable AI(XAI)技術が開発されている。
ディープラーニングモデルから有意義な洞察を抽出するが、これらのXAI手法を適切に評価する方法は未解決の問題である。
最も広く使われているアプローチは、XAI法が入力において最も重要な特徴と見なすものを摂動または取り除き、出力予測の変化を観察することである。
このアプローチは、摂動サンプルが元のデータ分布に従わなくなるため、out-of-Distribution (OOD)問題に悩まされる。
RemOve And Retrain (ROAR) の最近の手法は、説明によって導かれる摂動サンプルでモデルを再トレーニングすることで、OODの問題を解決する。
しかし、分布の違いを考えると、トレーニングは必ずしも収束するとは限らない。
さらに、XAI法に基づいて再訓練されたモデルを用いて、これらの説明を評価すれば、情報漏洩が生じ、不公平な比較につながる可能性がある。
我々は,XAIのための頑健な評価フレームワークであるファインチューニングフィデリティF-フィデリティを提案する。
一 情報漏洩を軽減し、かつ、説明非依存の微調整戦略
二 除去工程がOOD入力を発生させないことを保証する無作為なマスキング動作
我々は,そのフレームワークの正しさを検証するために,最新技術(SOTA)の説明器と劣化したバージョンを用いた制御実験を設計した。
画像,時系列,自然言語などの複数のデータ構造について実験を行った。
その結果, F-Fidelity は, 説明者の信頼度を回復する上で, 先行評価指標よりも有意に向上することが示唆された。
さらに、忠実な説明器が与えられた場合、F-フィデリティメートル法は、影響力のある入力成分の空間性を計算し、すなわち真の説明サイズを抽出することができることを理論的および実証的に示す。
関連論文リスト
- Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。
最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文 参考訳（メタデータ） (2024-10-30T17:20:10Z) - CHILLI: A data context-aware perturbation method for XAI [3.587367153279351]
機械学習(ML)モデルの信頼性は評価が難しいが、リスクの高いアプリケーションや倫理的に敏感なアプリケーションでは重要である。
本稿では,文脈に意識された摂動を生成することで,データコンテキストをXAIに組み込む新しいフレームワークCHILLIを提案する。
これは説明の正確さと正確さを両立させることが示されている。
論文 参考訳（メタデータ） (2024-07-10T10:18:07Z) - Explainability of Machine Learning Models under Missing Data [3.0485328005356136]
データ不足は、モデルのパフォーマンスと説明容易性を著しく損なうおそれのある問題である。
本稿では、欠落データ分野の発展を要約し、SHAPに対する様々な計算方法の効果について考察する。
論文 参考訳（メタデータ） (2024-06-29T11:31:09Z) - XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。
XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。
6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
論文 参考訳（メタデータ） (2023-10-09T08:07:04Z) - Precise Benchmarking of Explainable AI Attribution Methods [0.0]
本稿では,最新のXAI属性手法のベンチマークのための新しい評価手法を提案する。
提案手法は, 基礎的真理の説明を伴う合成分類モデルから成り立っている。
実験の結果, Guided-Backprop 法と Smoothgrad XAI 法の性能に関する新たな知見が得られた。
論文 参考訳（メタデータ） (2023-08-06T17:03:32Z) - Learn from Unpaired Data for Image Restoration: A Variational Bayes
Approach [18.007258270845107]
境界分布から抽出したデータから結合確率密度関数を学習するための深層生成法 LUD-VAE を提案する。
本稿では,LUD-VAEによって生成された合成データを用いて,実世界の画像認識と超分解能タスクに適用し,モデルを訓練する。
論文 参考訳（メタデータ） (2022-04-21T13:27:17Z) - Interpretable pipelines with evolutionarily optimized modules for RL
tasks with visual inputs [5.254093731341154]
進化的アルゴリズムを用いて協調最適化された複数の解釈可能なモデルからなるエンドツーエンドパイプラインを提案する。
Atariベンチマークの強化学習環境において,本手法を検証した。
論文 参考訳（メタデータ） (2022-02-10T10:33:44Z) - Agree to Disagree: Diversity through Disagreement for Better
Transferability [54.308327969778155]
本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。
我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
論文 参考訳（メタデータ） (2022-02-09T12:03:02Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳（メタデータ） (2021-07-05T12:44:39Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。