論文の概要: The Blame Problem in Evaluating Local Explanations, and How to Tackle it

• arxiv url: http://arxiv.org/abs/2310.03466v1
• Date: Thu, 5 Oct 2023 11:21:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 16:34:40.774085
• Title: The Blame Problem in Evaluating Local Explanations, and How to Tackle it
• Title（参考訳）: 地域説明の評価における責任問題と対処法
• Authors: Amir Hossein Akhavan Rahnama
• Abstract要約: 最適評価基準が欠如しているため、新しい説明可能性技術を開発するための障壁は低い。 厳格な措置がなければ、新しい説明手法が前任者を大きく上回っているかどうかの具体的な証拠は得られない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The number of local model-agnostic explanation techniques proposed has grown rapidly recently. One main reason is that the bar for developing new explainability techniques is low due to the lack of optimal evaluation measures. Without rigorous measures, it is hard to have concrete evidence of whether the new explanation techniques can significantly outperform their predecessors. Our study proposes a new taxonomy for evaluating local explanations: robustness, evaluation using ground truth from synthetic datasets and interpretable models, model randomization, and human-grounded evaluation. Using this proposed taxonomy, we highlight that all categories of evaluation methods, except those based on the ground truth from interpretable models, suffer from a problem we call the "blame problem." In our study, we argue that this category of evaluation measure is a more reasonable method for evaluating local model-agnostic explanations. However, we show that even this category of evaluation measures has further limitations. The evaluation of local explanations remains an open research problem.
• Abstract（参考訳）: 近年,局所的なモデル非依存的な説明手法が急速に増えている。 一つの主な理由は、最適評価基準の欠如により、新しい説明可能性技術を開発するための基準が低いことである。 厳密な措置がなければ、新しい説明技術が前者を大きく上回るかどうかの具体的な証拠を得るのは難しい。 本研究は, 局所的な説明を評価するための新しい分類法を提案する: 頑健さ, 合成データセットと解釈可能なモデルからの基底的真理を用いた評価, モデルランダム化, 人為的評価。 提案した分類学を用いて,解釈可能なモデルによる基礎的真理に基づく評価方法を除くすべてのカテゴリーが,「ブレム問題」と呼ばれる問題に悩まされていることを強調した。 本研究は,この評価尺度は,局所モデル非依存な説明を評価する上で,より合理的な方法であると主張する。 しかし,この評価尺度でさえ,さらなる限界があることは明らかである。 局所的な説明の評価は依然としてオープンな研究課題である。

関連論文リスト

• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• On The Coherence of Quantitative Evaluation of Visual Explanations [0.7212939068975619]
  視覚的説明の「良さ」を評価するための評価手法が提案されている。 我々はImageNet-1k検証セットのサブセットについて検討し、多くの一般的な説明手法を評価した。 本研究の結果から, 評価方法のいくつかは, 階調のコヒーレンシーが欠如していることが示唆された。
  論文  参考訳（メタデータ） (2023-02-14T13:41:57Z)
• Are Neural Topic Models Broken? [81.15470302729638]
  トピックモデルの自動評価と人的評価の関係について検討する。 ニューラルトピックモデルは、確立された古典的手法と比較して、両方の点においてより悪くなる。
  論文  参考訳（メタデータ） (2022-10-28T14:38:50Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Off-policy evaluation for learning-to-rank via interpolating the item-position model and the position-based model [83.83064559894989]
  産業レコメンデーションシステムにとって重要なニーズは、製品にデプロイする前に、レコメンデーションポリシーをオフラインで評価する機能である。 我々は、最も人気のある2つの非政治推定器の問題を緩和する新しい推定器を開発する。 特に、InterPOLと呼ばれる新しい推定器は、潜在的に不特定位置ベースモデルのバイアスに対処する。
  論文  参考訳（メタデータ） (2022-10-15T17:22:30Z)
• CEBaB: Estimating the Causal Effects of Real-World Concepts on NLP Model Behavior [26.248879735549277]
  実世界の概念がMLモデルの出力挙動に与える影響を推定する因果推論問題として、モデル説明をキャストした。 自然言語処理(NLP)における概念に基づく説明手法を評価するための新しいベンチマークデータセットCEBaBを紹介する。 CEBaBを用いて,様々な仮定や概念を網羅した概念に基づく説明手法の質を比較した。
  論文  参考訳（メタデータ） (2022-05-27T17:59:14Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Towards Better Model Understanding with Path-Sufficient Explanations [11.517059323883444]
  Path-Sufficient Explanations Method (PSEM) は、厳格に小さくなった入力に対する十分な説明の系列である。 PSEMはモデルの局所的な境界を滑らかに辿り、特定の入力に対する局所的なモデルの振る舞いに関するより良い直感を与えると考えられる。 ユーザスタディでは、(多くの)ユーザがモデルによってなされた予測を正しく決定できる地域行動を伝える方法の強みを描いている。
  論文  参考訳（メタデータ） (2021-09-13T16:06:10Z)
• Evaluation of Local Model-Agnostic Explanations Using Ground Truth [4.278336455989584]
  説明手法は人為的手法を用いて一般的に評価される。 本稿では,局所モデルに依存しない説明手法に関する機能的評価手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T13:47:31Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。