論文の概要: Towards Better Model Understanding with Path-Sufficient Explanations
- arxiv url: http://arxiv.org/abs/2109.06181v1
- Date: Mon, 13 Sep 2021 16:06:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-15 15:51:36.735045
- Title: Towards Better Model Understanding with Path-Sufficient Explanations
- Title(参考訳): 経路十分説明によるモデル理解の改善に向けて
- Authors: Ronny Luss, Amit Dhurandhar
- Abstract要約: Path-Sufficient Explanations Method (PSEM) は、厳格に小さくなった入力に対する十分な説明の系列である。
PSEMはモデルの局所的な境界を滑らかに辿り、特定の入力に対する局所的なモデルの振る舞いに関するより良い直感を与えると考えられる。
ユーザスタディでは、(多くの)ユーザがモデルによってなされた予測を正しく決定できる地域行動を伝える方法の強みを描いている。
- 参考スコア(独自算出の注目度): 11.517059323883444
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature based local attribution methods are amongst the most prevalent in
explainable artificial intelligence (XAI) literature. Going beyond standard
correlation, recently, methods have been proposed that highlight what should be
minimally sufficient to justify the classification of an input (viz. pertinent
positives). While minimal sufficiency is an attractive property, the resulting
explanations are often too sparse for a human to understand and evaluate the
local behavior of the model, thus making it difficult to judge its overall
quality. To overcome these limitations, we propose a novel method called
Path-Sufficient Explanations Method (PSEM) that outputs a sequence of
sufficient explanations for a given input of strictly decreasing size (or
value) -- from original input to a minimally sufficient explanation -- which
can be thought to trace the local boundary of the model in a smooth manner,
thus providing better intuition about the local model behavior for the specific
input. We validate these claims, both qualitatively and quantitatively, with
experiments that show the benefit of PSEM across all three modalities (image,
tabular and text). A user study depicts the strength of the method in
communicating the local behavior, where (many) users are able to correctly
determine the prediction made by a model.
- Abstract(参考訳): 特徴に基づく局所帰属法は、説明可能な人工知能(XAI)文学において最も一般的なものである。
標準相関を超えて、近年、入力の分類を正当化するのに最小限の量(viz.pertinent positives)を強調する手法が提案されている。
最小限の十分性は魅力的な性質であるが、結果として生じる説明は、しばしば人間がモデルの局所的な振る舞いを理解して評価するに足りず、全体的な品質を判断することは困難である。
これらの制約を克服するため,本研究では,厳格に縮小されたサイズ(または値)の入力に対する十分な説明列を,元の入力から最小の十分な説明列に出力するパス十分説明法 (PSEM) を提案する。
これらの主張を質的かつ定量的に検証し、3つのモード(画像、表、テキスト)でPSEMの利点を示す実験を行った。
ユーザスタディでは、(多くの)ユーザがモデルによってなされた予測を正しく決定できる地域行動を伝える方法の強みを描いている。
関連論文リスト
- Explaining the Unexplained: Revealing Hidden Correlations for Better Interpretability [1.8274323268621635]
Real Explainer(RealExp)は、Shapley値を個々の特徴と特徴相関の重要度に分解する、解釈可能性の手法である。
RealExpは、個々の特徴とそれらの相互作用を正確に定量化することで、解釈可能性を高める。
論文 参考訳(メタデータ) (2024-12-02T10:50:50Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳(メタデータ) (2024-06-28T20:06:30Z) - Towards a Unified Framework for Evaluating Explanations [0.6138671548064356]
我々は、モデルと利害関係者の間の仲介者として、本質的に解釈可能なモデルであれ、不透明なブラックボックスモデルであれ、説明が役立ちます。
本稿では,学習者の行動を予測するための解釈可能なニューラルネットワークの例を用いて,これらの基準と具体的な評価手法について述べる。
論文 参考訳(メタデータ) (2024-05-22T21:49:28Z) - Log Probabilities Are a Reliable Estimate of Semantic Plausibility in Base and Instruction-Tuned Language Models [50.15455336684986]
意味的妥当性を評価するため,LogProbsの有効性と基本的なプロンプトを評価した。
LogProbsは、直接ゼロショットプロンプトよりも、より信頼性の高いセマンティックな妥当性を提供する。
我々は,プロンプトベースの評価の時代においても,LogProbsは意味的妥当性の有用な指標である,と結論付けた。
論文 参考訳(メタデータ) (2024-03-21T22:08:44Z) - On the stability, correctness and plausibility of visual explanation
methods based on feature importance [0.0]
画像分類器の特徴的重要性に基づいて, 説明の安定性, 正確性, 妥当性の相違について検討した。
これらの特性を評価するための既存の指標は必ずしも一致せず、説明のための優れた評価基準を構成するものの問題を提起する。
論文 参考訳(メタデータ) (2023-10-25T08:59:21Z) - MACE: An Efficient Model-Agnostic Framework for Counterfactual
Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。
MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。
公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文 参考訳(メタデータ) (2022-05-31T04:57:06Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳(メタデータ) (2022-05-25T03:40:59Z) - A Survey on the Robustness of Feature Importance and Counterfactual
Explanations [12.599872913953238]
本稿では,2種類の局所的説明の堅牢性を分析した研究について紹介する。
この調査は、既存のロバストネスの定義を統一することを目的としており、異なるロバストネスアプローチを分類するための分類を導入し、興味深い結果について議論している。
論文 参考訳(メタデータ) (2021-10-30T22:48:04Z) - Logic Constraints to Feature Importances [17.234442722611803]
AIモデルの"ブラックボックス"の性質は、診断技術や自律的ガイドなど、高度な分野における信頼性の高い応用の限界であることが多い。
近年の研究では、適切な解釈可能性のレベルが、モデル信頼性というより一般的な概念を強制できることが示されている。
本論文の基本的な考え方は,特定のタスクにおける特徴の重要性に関する人間の事前知識を利用して,モデルの適合のフェーズを整合的に支援することである。
論文 参考訳(メタデータ) (2021-10-13T09:28:38Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳(メタデータ) (2020-05-31T05:52:05Z) - Guided Uncertainty-Aware Policy Optimization: Combining Learning and
Model-Based Strategies for Sample-Efficient Policy Learning [75.56839075060819]
従来のロボットのアプローチは、環境の正確なモデル、タスクの実行方法の詳細な説明、現在の状態を追跡するための堅牢な認識システムに依存している。
強化学習アプローチは、タスクを記述するための報酬信号だけで、生の感覚入力から直接操作することができるが、非常にサンプル非効率で脆弱である。
本研究では,ロボットの知覚・運動パイプラインにおける不正確さを克服できる一般的な手法を得るために,モデルに基づく手法の強みと学習に基づく手法の柔軟性を組み合わせる。
論文 参考訳(メタデータ) (2020-05-21T19:47:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。