論文の概要: Uncertainty in Additive Feature Attribution methods
- arxiv url: http://arxiv.org/abs/2311.17446v1
- Date: Wed, 29 Nov 2023 08:40:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 22:04:24.954947
- Title: Uncertainty in Additive Feature Attribution methods
- Title（参考訳）: 付加的特徴帰属法の不確かさ
- Authors: Abhishek Madaan, Tanya Chowdhury, Neha Rana, James Allan, Tanmoy
Chakraborty
- Abstract要約: 本稿では,付加的特徴帰属説明法のクラスに焦点をあてる。
特徴の属性と不確実性との関係を考察し,相関関係をほとんど観察しない。
このようなインスタンスに対して"stable instance"という用語を作り、インスタンスを安定させる要因を診断します。
- 参考スコア（独自算出の注目度）: 34.80932512496311
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we explore various topics that fall under the umbrella of
Uncertainty in post-hoc Explainable AI (XAI) methods. We in particular focus on
the class of additive feature attribution explanation methods. We first
describe our specifications of uncertainty and compare various statistical and
recent methods to quantify the same. Next, for a particular instance, we study
the relationship between a feature's attribution and its uncertainty and
observe little correlation. As a result, we propose a modification in the
distribution from which perturbations are sampled in LIME-based algorithms such
that the important features have minimal uncertainty without an increase in
computational cost. Next, while studying how the uncertainty in explanations
varies across the feature space of a classifier, we observe that a fraction of
instances show near-zero uncertainty. We coin the term "stable instances" for
such instances and diagnose factors that make an instance stable. Next, we
study how an XAI algorithm's uncertainty varies with the size and complexity of
the underlying model. We observe that the more complex the model, the more
inherent uncertainty is exhibited by it. As a result, we propose a measure to
quantify the relative complexity of a blackbox classifier. This could be
incorporated, for example, in LIME-based algorithms' sampling densities, to
help different explanation algorithms achieve tighter confidence levels.
Together, the above measures would have a strong impact on making XAI models
relatively trustworthy for the end-user as well as aiding scientific discovery.
- Abstract（参考訳）: 本稿では,ポストホック説明可能ai(xai)手法における不確実性に満ちた様々な話題について考察する。
特に,付加的特徴帰属説明手法のクラスに注目した。
まず, 不確実性の仕様を説明し, 様々な統計的手法と最近の手法を比較し, 定量化を行う。
次に,特定の事例において,特徴の帰属と不確実性の関係について検討し,相関をほとんど観察しない。
その結果,LIMEアルゴリズムで摂動をサンプリングする分布を,計算コストを増大させることなく,重要な特徴が最小限の不確実性を持つように修正した。
次に、説明の不確実性が分類器の特徴空間によってどのように異なるかを研究する一方で、少数の事例がほぼゼロに近い不確実性を示すことを観察する。
このようなインスタンスに対する"stable instance"という用語と、インスタンスを安定させる要因を診断します。
次に、XAIアルゴリズムの不確実性は、基礎となるモデルのサイズと複雑さによってどのように変化するかを検討する。
モデルが複雑になるほど、より固有の不確実性が示されるのが観察される。
その結果,ブラックボックス分類器の相対的複雑性を定量化する尺度を提案する。
これは例えば、LIMEベースのアルゴリズムのサンプリング密度に組み込まれ、異なる説明アルゴリズムがより信頼性の高いレベルを達成するのに役立つ。
上記の措置は、XAIモデルをエンドユーザーにとって比較的信頼できるものにし、科学的発見を支援することに強い影響を与えるだろう。
関連論文リスト
- Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Identifying Drivers of Predictive Aleatoric Uncertainty [2.5311562666866494]
本稿では,予測的アレタリック不確実性を説明するための簡単なアプローチを提案する。
我々は、ガウス出力分布にニューラルネットワークを適用することにより、不確実性を予測分散として推定する。
我々は、実世界のデータセットを含むニュアンスなベンチマーク分析を用いて、この結果の定量化を行う。
論文 参考訳（メタデータ） (2023-12-12T13:28:53Z) - Learning to Bound Counterfactual Inference in Structural Causal Models
from Observational and Randomised Data [64.96984404868411]
我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。
新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。
反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
論文 参考訳（メタデータ） (2022-12-06T12:42:11Z) - What is Flagged in Uncertainty Quantification? Latent Density Models for
Uncertainty Categorization [68.15353480798244]
不確実性定量化(UQ)は、信頼できる機械学習モデルを作成する上で不可欠である。
近年、疑わしい事例にフラグを立てるUQ手法が急上昇している。
分類タスクにおけるUQ手法によってフラグ付けされた不確実な例を分類する枠組みを提案する。
論文 参考訳（メタデータ） (2022-07-11T19:47:00Z) - Instance-optimality in optimal value estimation: Adaptivity via
variance-reduced Q-learning [99.34907092347733]
本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。
局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。
他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
論文 参考訳（メタデータ） (2021-06-28T00:38:54Z) - Uncertainty-Aware Few-Shot Image Classification [118.72423376789062]
ラベル付き限られたデータから新しいカテゴリを認識できる画像分類はほとんどない。
画像分類のための不確実性を考慮したFew-Shotフレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-09T12:26:27Z) - Robust Estimation of Tree Structured Ising Models [20.224160348675422]
我々は、異なる確率変数の符号が、おそらく不等で未知の確率で独立に反転するときに、イジングモデルを学習するタスクを考える。
しかし, この不同一性は, 葉ノードが近傍と位置を交換して形成する小さな同値類に限られる。
論文 参考訳（メタデータ） (2020-06-10T01:32:45Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳（メタデータ） (2020-05-22T22:30:52Z) - On Last-Layer Algorithms for Classification: Decoupling Representation
from Uncertainty Estimation [27.077741143188867]
本稿では,分類課題を表現学習と不確実性推定の2段階に分けたアルゴリズム群を提案する。
選択的分類(リスクカバレッジ)および分布外サンプルの検出能力の観点から,それらの性能を評価する。
論文 参考訳（メタデータ） (2020-01-22T15:08:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。