論文の概要: Explaining the Behavior of Black-Box Prediction Algorithms with Causal
Learning
- arxiv url: http://arxiv.org/abs/2006.02482v4
- Date: Wed, 6 Sep 2023 01:04:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 20:36:57.194801
- Title: Explaining the Behavior of Black-Box Prediction Algorithms with Causal
Learning
- Title(参考訳): 因果学習を用いたブラックボックス予測アルゴリズムの動作説明
- Authors: Numair Sani, Daniel Malinsky, Ilya Shpitser
- Abstract要約: ブラックボックス予測モデルのポストホック説明可能性に対する因果的アプローチは、ますます人気が高まっている。
因果図形表現を学習し、特徴間の任意の非計測的共起を可能にする。
我々のアプローチは、適切な説明が介入論的な意味で「異論者」である要因を示唆する因果説明の反実理論によって動機付けられている。
- 参考スコア(独自算出の注目度): 9.279259759707996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Causal approaches to post-hoc explainability for black-box prediction models
(e.g., deep neural networks trained on image pixel data) have become
increasingly popular. However, existing approaches have two important
shortcomings: (i) the "explanatory units" are micro-level inputs into the
relevant prediction model, e.g., image pixels, rather than interpretable
macro-level features that are more useful for understanding how to possibly
change the algorithm's behavior, and (ii) existing approaches assume there
exists no unmeasured confounding between features and target model predictions,
which fails to hold when the explanatory units are macro-level variables. Our
focus is on the important setting where the analyst has no access to the inner
workings of the target prediction algorithm, rather only the ability to query
the output of the model in response to a particular input. To provide causal
explanations in such a setting, we propose to learn causal graphical
representations that allow for arbitrary unmeasured confounding among features.
We demonstrate the resulting graph can differentiate between interpretable
features that causally influence model predictions versus those that are merely
associated with model predictions due to confounding. Our approach is motivated
by a counterfactual theory of causal explanation wherein good explanations
point to factors that are "difference-makers" in an interventionist sense.
- Abstract(参考訳): ブラックボックス予測モデル(例えば、画像ピクセルデータで訓練されたディープニューラルネットワーク)のポストホックな説明可能性に対する因果的アプローチがますます人気になっている。
しかし、既存のアプローチには2つの重要な欠点がある。
(i)「説明単位」とは、例えば画像画素のような関連する予測モデルへのマイクロレベルの入力であり、アルゴリズムの振る舞いをどう変えるかを理解するのに役立つマクロレベルの特徴を解釈するよりも、より有用である。
(II) 既存のアプローチでは、特徴量と対象モデル予測の間に未測定の矛盾は存在しないと仮定しており、説明単位がマクロレベルの変数である場合に保持できない。
私たちの焦点は、アナリストがターゲット予測アルゴリズムの内部動作にアクセスできず、特定の入力に応答してモデルの出力を問い合わせる能力のみを提供する重要な設定にあります。
このような状況下での因果的説明を提供するために,特徴間の任意の不測な相違を可能にする因果的図形表現の学習を提案する。
得られたグラフは、モデル予測に因果的に影響を及ぼす解釈可能な特徴と、共起によるモデル予測にのみ関連している特徴とを区別できることを示す。
我々のアプローチは、適切な説明が介入論的な意味で「異論者」である要因を指し示す因果説明の反実理論によって動機付けられている。
関連論文リスト
- Counterfactual explainability of black-box prediction models [4.14360329494344]
ブラックボックス予測モデルに対する対実的説明可能性という新しい概念を提案する。
対物的説明可能性には3つの大きな利点がある。
論文 参考訳(メタデータ) (2024-11-03T16:29:09Z) - Explaining Hate Speech Classification with Model Agnostic Methods [0.9990687944474738]
本研究の目的は、ヘイトスピーチ予測と、その決定を支援するためにシステムによって生成された説明とのギャップを埋めることである。
これは、まずテキストの分類を予測し、その後、ポストホック、モデル非依存、代理的解釈可能性アプローチを提供することによって達成されている。
論文 参考訳(メタデータ) (2023-05-30T19:52:56Z) - Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。
分類タスクで訓練された視覚モデルに本手法を適用した。
論文 参考訳(メタデータ) (2023-05-15T18:37:24Z) - Rationalizing Predictions by Adversarial Information Calibration [65.19407304154177]
我々は2つのモデルを共同で訓練する: 1つは、正確だがブラックボックスな方法でタスクを解く典型的なニューラルモデルであり、もう1つは、予測の理論的根拠を付加するセレクタ・予測モデルである。
我々は,2つのモデルから抽出した情報を,それらの違いが欠落した特徴や過度に選択された特徴の指標であるように校正するために,敵対的手法を用いる。
論文 参考訳(メタデータ) (2023-01-15T03:13:09Z) - Disentangled Explanations of Neural Network Predictions by Finding Relevant Subspaces [14.70409833767752]
説明可能なAIは、ニューラルネットワークのような複雑なMLモデルのブラックボックスの性質を克服し、予測の説明を生成することを目的としている。
そこで本研究では,PCA や ICA に見られる原理を説明に拡張する2つの新しい分析法を提案する。
これらの新しい分析は、主成分分析 (PRCA) と解離関連部分空間分析 (DRSA) と呼ばれ、ばらつきや硬変の代わりに関連性を最大化する。
論文 参考訳(メタデータ) (2022-12-30T18:04:25Z) - CLEAR: Generative Counterfactual Explanations on Graphs [60.30009215290265]
グラフ上での対実的説明生成の問題について検討する。
グラフに関する反実的な説明を調査する研究はいくつかあるが、この問題の多くの課題はまだ十分に適応されていない。
本稿では,グラフレベルの予測モデルに対して,グラフ上の反実的説明を生成するための新しいフレームワークCLEARを提案する。
論文 参考訳(メタデータ) (2022-10-16T04:35:32Z) - Counterfactual Explanations for Predictive Business Process Monitoring [0.90238471756546]
本稿では,予測プロセス監視のための対実的説明手法であるLORELEYを提案する。
LORELEYは平均忠実度97.69%の予測モデルを近似し、現実的な対実的な説明を生成する。
論文 参考訳(メタデータ) (2022-02-24T11:01:20Z) - Deconfounding to Explanation Evaluation in Graph Neural Networks [136.73451468551656]
我々は、全グラフと部分グラフの間に分布シフトが存在し、分布外問題を引き起こすと論じる。
本稿では,モデル予測に対する説明文の因果効果を評価するために,Decon founded Subgraph Evaluation (DSE)を提案する。
論文 参考訳(メタデータ) (2022-01-21T18:05:00Z) - Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。
モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。
要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
論文 参考訳(メタデータ) (2020-10-15T16:57:27Z) - The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal
Sufficient Subsets [61.66584140190247]
機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。
そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
論文 参考訳(メタデータ) (2020-09-23T09:45:23Z) - Deducing neighborhoods of classes from a fitted model [68.8204255655161]
本稿では,新しいタイプの解釈可能な機械学習手法を提案する。
量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。
基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
論文 参考訳(メタデータ) (2020-09-11T16:35:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。