論文の概要: A Survey on the Robustness of Feature Importance and Counterfactual
Explanations
- arxiv url: http://arxiv.org/abs/2111.00358v1
- Date: Sat, 30 Oct 2021 22:48:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 14:03:20.128778
- Title: A Survey on the Robustness of Feature Importance and Counterfactual
Explanations
- Title(参考訳): 特徴的重要性のロバスト性と対実的説明に関する調査
- Authors: Saumitra Mishra, Sanghamitra Dutta, Jason Long, Daniele Magazzeni
- Abstract要約: 本稿では,2種類の局所的説明の堅牢性を分析した研究について紹介する。
この調査は、既存のロバストネスの定義を統一することを目的としており、異なるロバストネスアプローチを分類するための分類を導入し、興味深い結果について議論している。
- 参考スコア(独自算出の注目度): 12.599872913953238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There exist several methods that aim to address the crucial task of
understanding the behaviour of AI/ML models. Arguably, the most popular among
them are local explanations that focus on investigating model behaviour for
individual instances. Several methods have been proposed for local analysis,
but relatively lesser effort has gone into understanding if the explanations
are robust and accurately reflect the behaviour of underlying models. In this
work, we present a survey of the works that analysed the robustness of two
classes of local explanations (feature importance and counterfactual
explanations) that are popularly used in analysing AI/ML models in finance. The
survey aims to unify existing definitions of robustness, introduces a taxonomy
to classify different robustness approaches, and discusses some interesting
results. Finally, the survey introduces some pointers about extending current
robustness analysis approaches so as to identify reliable explainability
methods.
- Abstract(参考訳): AI/MLモデルの振る舞いを理解するための重要なタスクに対処するいくつかの方法が存在する。
おそらく最も人気のあるのは、個々のインスタンスのモデル動作の調査に焦点を当てた、ローカルな説明である。
局所解析のためにいくつかの方法が提案されているが、その説明が堅牢で、基礎となるモデルの振る舞いを正確に反映しているかどうかを比較的少ない努力で理解している。
本稿では、金融におけるAI/MLモデルの分析に広く用いられている2種類の局所的説明(機能的重要性と対実的説明)の堅牢性を分析した研究について述べる。
この調査は、既存のロバストネスの定義を統一することを目的としており、異なるロバストネスアプローチを分類するための分類を導入し、興味深い結果について議論している。
最後に,現在のロバスト性分析手法の拡張について,信頼性の高い説明可能性の方法を明らかにするための指針を紹介する。
関連論文リスト
- Comparing Inferential Strategies of Humans and Large Language Models in
Deductive Reasoning [30.399418995991585]
大規模言語モデル(LLM)では,人間の観察と類似した推論パターンが示される。
我々の研究は、モデルの構造と規模が、その好む推論方法に大きく影響していることを示します。
論文 参考訳(メタデータ) (2024-02-20T12:58:14Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - A Closer Look at the Self-Verification Abilities of Large Language
Models in Logical Reasoning [79.14479982371984]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳(メタデータ) (2023-11-14T07:13:10Z) - Counterfactuals of Counterfactuals: a back-translation-inspired approach
to analyse counterfactual editors [3.4253416336476246]
我々は、反事実的、対照的な説明の分析に焦点をあてる。
本稿では,新しい逆翻訳に基づく評価手法を提案する。
本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
論文 参考訳(メタデータ) (2023-05-26T16:04:28Z) - Interpretability in the Wild: a Circuit for Indirect Object
Identification in GPT-2 small [68.879023473838]
間接オブジェクト識別 (IOI) と呼ばれる自然言語タスクにおいて, GPT-2 の小型化が果たす役割について解説する。
我々の知る限り、この調査は言語モデルにおいて「野生」の自然な振る舞いをリバースエンジニアリングする最大のエンドツーエンドの試みである。
論文 参考訳(メタデータ) (2022-11-01T17:08:44Z) - Towards Faithful Model Explanation in NLP: A Survey [48.690624266879155]
エンドツーエンドのニューラルネットワーク処理(NLP)モデルを理解するのは非常に難しい。
モデル説明の一側面は忠実さであり、すなわち、説明はモデルの予測の背後にある推論過程を正確に表現すべきである。
我々は,NLPにおける110以上のモデル説明法を忠実度レンズを用いてレビューした。
論文 参考訳(メタデータ) (2022-09-22T21:40:51Z) - ExSum: From Local Explanations to Model Understanding [6.23934576145261]
ブラックボックスモデルの動作メカニズムを理解するために,解釈可能性法を開発した。
この目標をフルフィルするには、これらのメソッドによって生成された説明が正しいことと、人々が容易に確実に理解できることの両方が必要である。
本稿では,モデル理解の定量化のための数学的枠組みである説明要約(ExSum)を紹介する。
論文 参考訳(メタデータ) (2022-04-30T02:07:20Z) - MUC-driven Feature Importance Measurement and Adversarial Analysis for
Random Forest [1.5896078006029473]
我々は形式的手法と論理的推論を活用して、ランダムフォレスト(RF)の予測を説明する新しいモデル固有の方法を開発した。
提案手法は, 最小不飽和コア(MUC)を中心に, 特徴重要度, 局所的・グローバル的側面, および対向的サンプル分析に関する包括的ソリューションを提供する。
提案手法はユーザ中心のレポートを作成でき,リアルタイムアプリケーションにレコメンデーションを提供するのに役立つ。
論文 参考訳(メタデータ) (2022-02-25T06:15:47Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳(メタデータ) (2021-03-18T12:57:34Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳(メタデータ) (2020-05-31T05:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。