論文の概要: A Survey on the Robustness of Feature Importance and Counterfactual Explanations

• arxiv url: http://arxiv.org/abs/2111.00358v1
• Date: Sat, 30 Oct 2021 22:48:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 14:03:20.128778
• Title: A Survey on the Robustness of Feature Importance and Counterfactual Explanations
• Title（参考訳）: 特徴的重要性のロバスト性と対実的説明に関する調査
• Authors: Saumitra Mishra, Sanghamitra Dutta, Jason Long, Daniele Magazzeni
• Abstract要約: 本稿では,2種類の局所的説明の堅牢性を分析した研究について紹介する。 この調査は、既存のロバストネスの定義を統一することを目的としており、異なるロバストネスアプローチを分類するための分類を導入し、興味深い結果について議論している。
• 参考スコア（独自算出の注目度）: 12.599872913953238
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There exist several methods that aim to address the crucial task of understanding the behaviour of AI/ML models. Arguably, the most popular among them are local explanations that focus on investigating model behaviour for individual instances. Several methods have been proposed for local analysis, but relatively lesser effort has gone into understanding if the explanations are robust and accurately reflect the behaviour of underlying models. In this work, we present a survey of the works that analysed the robustness of two classes of local explanations (feature importance and counterfactual explanations) that are popularly used in analysing AI/ML models in finance. The survey aims to unify existing definitions of robustness, introduces a taxonomy to classify different robustness approaches, and discusses some interesting results. Finally, the survey introduces some pointers about extending current robustness analysis approaches so as to identify reliable explainability methods.
• Abstract（参考訳）: AI/MLモデルの振る舞いを理解するための重要なタスクに対処するいくつかの方法が存在する。 おそらく最も人気のあるのは、個々のインスタンスのモデル動作の調査に焦点を当てた、ローカルな説明である。 局所解析のためにいくつかの方法が提案されているが、その説明が堅牢で、基礎となるモデルの振る舞いを正確に反映しているかどうかを比較的少ない努力で理解している。 本稿では、金融におけるAI/MLモデルの分析に広く用いられている2種類の局所的説明(機能的重要性と対実的説明)の堅牢性を分析した研究について述べる。 この調査は、既存のロバストネスの定義を統一することを目的としており、異なるロバストネスアプローチを分類するための分類を導入し、興味深い結果について議論している。 最後に,現在のロバスト性分析手法の拡張について,信頼性の高い説明可能性の方法を明らかにするための指針を紹介する。

関連論文リスト

• A Critical Assessment of Interpretable and Explainable Machine Learning for Intrusion Detection [0.0]
  本稿では,過度に複雑で不透明なMLモデル,不均衡なデータと相関した特徴,異なる説明法における不整合な影響特徴,そして説明の不可能な有用性について検討する。 具体的には、Deep Neural Networksのような複雑な不透明モデルを避け、代わりにDecision Treesのような解釈可能なMLモデルを使用することを推奨する。 機能ベースのモデル説明は、多くの場合、異なる設定で矛盾している。
  論文  参考訳（メタデータ） (2024-07-04T15:35:42Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Towards a Unified Framework for Evaluating Explanations [0.6138671548064356]
  我々は、モデルと利害関係者の間の仲介者として、本質的に解釈可能なモデルであれ、不透明なブラックボックスモデルであれ、説明が役立ちます。 本稿では,学習者の行動を予測するための解釈可能なニューラルネットワークの例を用いて,これらの基準と具体的な評価手法について述べる。
  論文  参考訳（メタデータ） (2024-05-22T21:49:28Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Counterfactuals of Counterfactuals: a back-translation-inspired approach to analyse counterfactual editors [3.4253416336476246]
  我々は、反事実的、対照的な説明の分析に焦点をあてる。 本稿では,新しい逆翻訳に基づく評価手法を提案する。 本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:04:28Z)
• Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small [68.879023473838]
  間接オブジェクト識別 (IOI) と呼ばれる自然言語タスクにおいて, GPT-2 の小型化が果たす役割について解説する。 我々の知る限り、この調査は言語モデルにおいて「野生」の自然な振る舞いをリバースエンジニアリングする最大のエンドツーエンドの試みである。
  論文  参考訳（メタデータ） (2022-11-01T17:08:44Z)
• Towards Faithful Model Explanation in NLP: A Survey [48.690624266879155]
  エンドツーエンドのニューラルネットワーク処理(NLP)モデルを理解するのは非常に難しい。 モデル説明の一側面は忠実さであり、すなわち、説明はモデルの予測の背後にある推論過程を正確に表現すべきである。 我々は,NLPにおける110以上のモデル説明法を忠実度レンズを用いてレビューした。
  論文  参考訳（メタデータ） (2022-09-22T21:40:51Z)
• ExSum: From Local Explanations to Model Understanding [6.23934576145261]
  ブラックボックスモデルの動作メカニズムを理解するために,解釈可能性法を開発した。 この目標をフルフィルするには、これらのメソッドによって生成された説明が正しいことと、人々が容易に確実に理解できることの両方が必要である。 本稿では,モデル理解の定量化のための数学的枠組みである説明要約(ExSum)を紹介する。
  論文  参考訳（メタデータ） (2022-04-30T02:07:20Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。