論文の概要: Identifying the Source of Vulnerability in Explanation Discrepancy: A Case Study in Neural Text Classification

• arxiv url: http://arxiv.org/abs/2212.05327v1
• Date: Sat, 10 Dec 2022 16:04:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 14:59:07.193108
• Title: Identifying the Source of Vulnerability in Explanation Discrepancy: A Case Study in Neural Text Classification
• Title（参考訳）: 説明の相違における脆弱性源の特定:ニューラルテキスト分類における事例研究
• Authors: Ruixuan Tang, Hanjie Chen, Yangfeng Ji
• Abstract要約: 近年の研究では、入力側摂動がモデルに適用された際のポストホック説明の不安定性が観察されている。 これにより、ポストホックな説明の安定性に対する関心と関心が高まる。 この研究は、不安定なポストホックの説明につながる潜在的な源を探究する。
• 参考スコア（独自算出の注目度）: 18.27912226867123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Some recent works observed the instability of post-hoc explanations when input side perturbations are applied to the model. This raises the interest and concern in the stability of post-hoc explanations. However, the remaining question is: is the instability caused by the neural network model or the post-hoc explanation method? This work explores the potential source that leads to unstable post-hoc explanations. To separate the influence from the model, we propose a simple output probability perturbation method. Compared to prior input side perturbation methods, the output probability perturbation method can circumvent the neural model's potential effect on the explanations and allow the analysis on the explanation method. We evaluate the proposed method with three widely-used post-hoc explanation methods (LIME (Ribeiro et al., 2016), Kernel Shapley (Lundberg and Lee, 2017a), and Sample Shapley (Strumbelj and Kononenko, 2010)). The results demonstrate that the post-hoc methods are stable, barely producing discrepant explanations under output probability perturbations. The observation suggests that neural network models may be the primary source of fragile explanations.
• Abstract（参考訳）: 最近の研究では、入力側摂動がモデルに適用されると、ポストホックな説明の不安定性が観察された。 これにより、ポストホックな説明の安定性に対する関心と関心が高まる。 しかし、残りの疑問は: ニューラルネットワークモデルやポストホックな説明方法によって生じる不安定性は何か? この研究は、不安定なポストホックの説明につながる潜在的な源を探究する。 モデルから影響を分離するために,簡単な出力確率摂動法を提案する。 先行入力側摂動法と比較して、出力確率摂動法は、説明に対する神経モデルの潜在効果を回避し、説明法の解析を可能にする。 提案手法は,3種類のポストホック法 (lime (ribeiro et al., 2016), kernel shapley (lundberg and lee, 2017a), sample shapley (strumbelj and kononenko, 2010) を用いて評価した。 その結果, ポストホック法は安定であり, 出力確率摂動下での離散的な説明がほとんど得られなかった。 この観察は、ニューラルネットワークモデルが脆弱な説明の主要な原因である可能性を示唆している。

関連論文リスト

• Selective Explanations [14.312717332216073]
  機械学習モデルは、1つの推論だけで特徴属性スコアを予測するために訓練される。 その効率にもかかわらず、償却された説明者は不正確な予測や誤解を招く説明を生み出すことができる。 そこで本稿では,低品質な説明文を生成する際の特徴帰属手法である選択的説明文を提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:08:31Z)
• Uncertainty Quantification for Gradient-based Explanations in Neural Networks [6.9060054915724]
  ニューラルネットワークの説明の不確実性を確認するパイプラインを提案する。 このパイプラインを使用して、CIFAR-10、FER+、California Housingデータセットの説明分布を生成する。 修正画素挿入/削除のメトリクスを計算し、生成した説明の質を評価する。
  論文  参考訳（メタデータ） (2024-03-25T21:56:02Z)
• Data-centric Prediction Explanation via Kernelized Stein Discrepancy [14.177012256360635]
  本稿では,KSDの特性を利用した高精度・データ中心記述(HD-Explain)予測法を提案する。 具体的には、KSDはモデル依存データ相関を符号化する訓練モデルのパラメータ化カーネル関数を独自に定義する。 本稿では,HD-Explainが高精度(きめ細かな説明),一貫性,計算効率など,様々な面から既存手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-22T19:04:02Z)
• Shortcomings of Top-Down Randomization-Based Sanity Checks for Evaluations of Deep Neural Network Explanations [67.40641255908443]
  モデルランダム化に基づく正当性チェックの限界を,説明書の評価のために同定する。 トップダウンモデルランダム化は、フォワードパスアクティベーションのスケールを高い確率で保存する。
  論文  参考訳（メタデータ） (2022-11-22T18:52:38Z)
• Don't Explain Noise: Robust Counterfactuals for Randomized Ensembles [50.81061839052459]
  我々は確率論的問題として、堅牢な対実的説明の生成を定式化する。 アンサンブルモデルのロバスト性とベース学習者のロバスト性との関係を示す。 本手法は, 反実的説明から初期観測までの距離をわずかに増加させるだけで, 高いロバスト性を実現する。
  論文  参考訳（メタデータ） (2022-05-27T17:28:54Z)
• Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models [77.34726150561087]
  本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。 本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
  論文  参考訳（メタデータ） (2022-03-30T05:59:50Z)
• Rethinking Stability for Attribution-based Explanations [20.215505482157255]
  説明の安定性を定量化するためにメトリクスを導入し、いくつかの一般的な説明方法が不安定であることを示す。 特に、入力の変化、モデル表現、または基礎となる予測子の出力に関する出力説明の変化を測定するための新しい相対安定度指標を提案する。
  論文  参考訳（メタデータ） (2022-03-14T06:19:27Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Dependency Decomposition and a Reject Option for Explainable Models [4.94950858749529]
  近年のディープラーニングモデルは様々な推論タスクにおいて非常によく機能する。 最近の進歩は特徴を視覚化し、入力の属性を記述する方法を提供します。 本稿では, 目的の画像分類出力に対する確率分布に関する依存性を初めて解析する。
  論文  参考訳（メタデータ） (2020-12-11T17:39:33Z)
• Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior? [97.77183117452235]
  我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。 方法の有効性の明確な証拠はごく少数にみえる。 以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
  論文  参考訳（メタデータ） (2020-05-04T20:35:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。