論文の概要: Towards Better Model Understanding with Path-Sufficient Explanations
- arxiv url: http://arxiv.org/abs/2109.06181v1
- Date: Mon, 13 Sep 2021 16:06:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-09-15 15:51:36.735045
- Title: Towards Better Model Understanding with Path-Sufficient Explanations
- Title(参考訳): 経路十分説明によるモデル理解の改善に向けて
- Authors: Ronny Luss, Amit Dhurandhar
- Abstract要約: Path-Sufficient Explanations Method (PSEM) は、厳格に小さくなった入力に対する十分な説明の系列である。
PSEMはモデルの局所的な境界を滑らかに辿り、特定の入力に対する局所的なモデルの振る舞いに関するより良い直感を与えると考えられる。
ユーザスタディでは、(多くの)ユーザがモデルによってなされた予測を正しく決定できる地域行動を伝える方法の強みを描いている。
- 参考スコア(独自算出の注目度): 11.517059323883444
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature based local attribution methods are amongst the most prevalent in
explainable artificial intelligence (XAI) literature. Going beyond standard
correlation, recently, methods have been proposed that highlight what should be
minimally sufficient to justify the classification of an input (viz. pertinent
positives). While minimal sufficiency is an attractive property, the resulting
explanations are often too sparse for a human to understand and evaluate the
local behavior of the model, thus making it difficult to judge its overall
quality. To overcome these limitations, we propose a novel method called
Path-Sufficient Explanations Method (PSEM) that outputs a sequence of
sufficient explanations for a given input of strictly decreasing size (or
value) -- from original input to a minimally sufficient explanation -- which
can be thought to trace the local boundary of the model in a smooth manner,
thus providing better intuition about the local model behavior for the specific
input. We validate these claims, both qualitatively and quantitatively, with
experiments that show the benefit of PSEM across all three modalities (image,
tabular and text). A user study depicts the strength of the method in
communicating the local behavior, where (many) users are able to correctly
determine the prediction made by a model.
- Abstract(参考訳): 特徴に基づく局所帰属法は、説明可能な人工知能(XAI)文学において最も一般的なものである。
標準相関を超えて、近年、入力の分類を正当化するのに最小限の量(viz.pertinent positives)を強調する手法が提案されている。
最小限の十分性は魅力的な性質であるが、結果として生じる説明は、しばしば人間がモデルの局所的な振る舞いを理解して評価するに足りず、全体的な品質を判断することは困難である。
これらの制約を克服するため,本研究では,厳格に縮小されたサイズ(または値)の入力に対する十分な説明列を,元の入力から最小の十分な説明列に出力するパス十分説明法 (PSEM) を提案する。
これらの主張を質的かつ定量的に検証し、3つのモード(画像、表、テキスト)でPSEMの利点を示す実験を行った。
ユーザスタディでは、(多くの)ユーザがモデルによってなされた予測を正しく決定できる地域行動を伝える方法の強みを描いている。
関連論文リスト
- Explaining the Unexplained: Revealing Hidden Correlations for Better Interpretability [1.8274323268621635]
Real Explainer(RealExp)は、Shapley値を個々の特徴と特徴相関の重要度に分解する、解釈可能性の手法である。
RealExpは、個々の特徴とそれらの相互作用を正確に定量化することで、解釈可能性を高める。
論文 参考訳(メタデータ) (2024-12-02T10:50:50Z) - MASALA: Model-Agnostic Surrogate Explanations by Locality Adaptation [3.587367153279351]
既存のローカル説明可能なAI(XAI)メソッドは、与えられた入力インスタンスの近傍にある入力空間の領域を選択し、より単純で解釈可能な代理モデルを用いてモデルの振る舞いを近似する。
そこで本研究では,各インスタンスごとの衝突モデル行動の適切な局所領域を自動決定する手法であるMASALAを提案する。
論文 参考訳(メタデータ) (2024-08-19T15:26:45Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳(メタデータ) (2024-06-28T20:06:30Z) - Towards a Unified Framework for Evaluating Explanations [0.6138671548064356]
我々は、モデルと利害関係者の間の仲介者として、本質的に解釈可能なモデルであれ、不透明なブラックボックスモデルであれ、説明が役立ちます。
本稿では,学習者の行動を予測するための解釈可能なニューラルネットワークの例を用いて,これらの基準と具体的な評価手法について述べる。
論文 参考訳(メタデータ) (2024-05-22T21:49:28Z) - Log Probabilities Are a Reliable Estimate of Semantic Plausibility in Base and Instruction-Tuned Language Models [50.15455336684986]
意味的妥当性を評価するため,LogProbsの有効性と基本的なプロンプトを評価した。
LogProbsは、直接ゼロショットプロンプトよりも、より信頼性の高いセマンティックな妥当性を提供する。
我々は,プロンプトベースの評価の時代においても,LogProbsは意味的妥当性の有用な指標である,と結論付けた。
論文 参考訳(メタデータ) (2024-03-21T22:08:44Z) - On the stability, correctness and plausibility of visual explanation
methods based on feature importance [0.0]
画像分類器の特徴的重要性に基づいて, 説明の安定性, 正確性, 妥当性の相違について検討した。
これらの特性を評価するための既存の指標は必ずしも一致せず、説明のための優れた評価基準を構成するものの問題を提起する。
論文 参考訳(メタデータ) (2023-10-25T08:59:21Z) - Understanding prompt engineering may not require rethinking
generalization [56.38207873589642]
言語モデルによって与えられるPAC-Bayesと組み合わさったプロンプトの離散的性質は、文献の標準によって非常に厳密な一般化境界をもたらすことを示す。
この研究は、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。
論文 参考訳(メタデータ) (2023-10-06T00:52:48Z) - Sampling Based On Natural Image Statistics Improves Local Surrogate
Explainers [111.31448606885672]
代理説明器は、モデルが予測にどのように到着するかをさらに理解するために、ポストホック解釈法として人気がある。
そこで本研究では,(1)局所領域のサンプリング方法を変更すること,(2)自然画像の分布特性を知覚的指標を用いて伝達すること,の2つの手法を提案する。
論文 参考訳(メタデータ) (2022-08-08T08:10:13Z) - MACE: An Efficient Model-Agnostic Framework for Counterfactual
Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。
MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。
公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文 参考訳(メタデータ) (2022-05-31T04:57:06Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳(メタデータ) (2022-05-25T03:40:59Z) - Locally Invariant Explanations: Towards Stable and Unidirectional
Explanations through Local Invariant Learning [15.886405745163234]
不変リスク最小化原理に着想を得たモデル非依存的局所説明法を提案する。
我々のアルゴリズムは、訓練が簡単で効率的であり、サイド情報にアクセスすることなく、ブラックボックスの局所的な決定のための安定した入力機能を確認することができる。
論文 参考訳(メタデータ) (2022-01-28T14:29:25Z) - A Survey on the Robustness of Feature Importance and Counterfactual
Explanations [12.599872913953238]
本稿では,2種類の局所的説明の堅牢性を分析した研究について紹介する。
この調査は、既存のロバストネスの定義を統一することを目的としており、異なるロバストネスアプローチを分類するための分類を導入し、興味深い結果について議論している。
論文 参考訳(メタデータ) (2021-10-30T22:48:04Z) - Logic Constraints to Feature Importances [17.234442722611803]
AIモデルの"ブラックボックス"の性質は、診断技術や自律的ガイドなど、高度な分野における信頼性の高い応用の限界であることが多い。
近年の研究では、適切な解釈可能性のレベルが、モデル信頼性というより一般的な概念を強制できることが示されている。
本論文の基本的な考え方は,特定のタスクにおける特徴の重要性に関する人間の事前知識を利用して,モデルの適合のフェーズを整合的に支援することである。
論文 参考訳(メタデータ) (2021-10-13T09:28:38Z) - Evaluation of Local Model-Agnostic Explanations Using Ground Truth [4.278336455989584]
説明手法は人為的手法を用いて一般的に評価される。
本稿では,局所モデルに依存しない説明手法に関する機能的評価手法を提案する。
論文 参考訳(メタデータ) (2021-06-04T13:47:31Z) - Search Methods for Sufficient, Socially-Aligned Feature Importance
Explanations with In-Distribution Counterfactuals [72.00815192668193]
特徴重要度(FI)推定は一般的な説明形式であり、テスト時に特定の入力特徴を除去することによって生じるモデル信頼度の変化を計算し、評価することが一般的である。
FIに基づく説明の未探索次元についていくつかの考察を行い、この説明形式に対する概念的および実証的な改善を提供する。
論文 参考訳(メタデータ) (2021-06-01T20:36:48Z) - Building Reliable Explanations of Unreliable Neural Networks: Locally
Smoothing Perspective of Model Interpretation [0.0]
本稿では,ニューラルネットワークの予測を確実に説明するための新しい手法を提案する。
本手法は,モデル予測の損失関数における平滑な景観の仮定に基づいて構築される。
論文 参考訳(メタデータ) (2021-03-26T08:52:11Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳(メタデータ) (2020-10-05T20:03:13Z) - What Do You See? Evaluation of Explainable Artificial Intelligence (XAI)
Interpretability through Neural Backdoors [15.211935029680879]
ディープニューラルネットワークが入力を予測する方法を理解するために、説明可能なAI(XAI)手法が提案されている。
現在の評価手法は、人間からの主観的な入力を必要とするか、あるいは自動評価を伴う高い計算コストを必要とする。
本稿では,不正分類の原因となる悪意のある機能を隠蔽したバックドアトリガーパターンを提案する。
論文 参考訳(メタデータ) (2020-09-22T15:53:19Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳(メタデータ) (2020-05-31T05:52:05Z) - Guided Uncertainty-Aware Policy Optimization: Combining Learning and
Model-Based Strategies for Sample-Efficient Policy Learning [75.56839075060819]
従来のロボットのアプローチは、環境の正確なモデル、タスクの実行方法の詳細な説明、現在の状態を追跡するための堅牢な認識システムに依存している。
強化学習アプローチは、タスクを記述するための報酬信号だけで、生の感覚入力から直接操作することができるが、非常にサンプル非効率で脆弱である。
本研究では,ロボットの知覚・運動パイプラインにおける不正確さを克服できる一般的な手法を得るために,モデルに基づく手法の強みと学習に基づく手法の柔軟性を組み合わせる。
論文 参考訳(メタデータ) (2020-05-21T19:47:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。