論文の概要: A Causal Lens for Peeking into Black Box Predictive Models: Predictive
Model Interpretation via Causal Attribution
- arxiv url: http://arxiv.org/abs/2008.00357v1
- Date: Sat, 1 Aug 2020 23:20:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 00:21:17.306068
- Title: A Causal Lens for Peeking into Black Box Predictive Models: Predictive
Model Interpretation via Causal Attribution
- Title（参考訳）: ブラックボックス予測モデルへの覗き込みのための因果レンズ--因果帰属による予測モデル解釈
- Authors: Aria Khademi, Vasant Honavar
- Abstract要約: 予測モデルがブラックボックスであるような設定でこの問題に対処することを目指している。
我々は、ブラックボックス予測モデルをモデル出力に対する各モデル入力の因果効果を推定する問題と比較する。
モデル入力に対するモデル出力に対する責任の因果関係が、予測モデルを解釈し、その予測を説明するためにどのように使用できるかを示す。
- 参考スコア（独自算出の注目度）: 3.3758186776249928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the increasing adoption of predictive models trained using machine
learning across a wide range of high-stakes applications, e.g., health care,
security, criminal justice, finance, and education, there is a growing need for
effective techniques for explaining such models and their predictions. We aim
to address this problem in settings where the predictive model is a black box;
That is, we can only observe the response of the model to various inputs, but
have no knowledge about the internal structure of the predictive model, its
parameters, the objective function, and the algorithm used to optimize the
model. We reduce the problem of interpreting a black box predictive model to
that of estimating the causal effects of each of the model inputs on the model
output, from observations of the model inputs and the corresponding outputs. We
estimate the causal effects of model inputs on model output using variants of
the Rubin Neyman potential outcomes framework for estimating causal effects
from observational data. We show how the resulting causal attribution of
responsibility for model output to the different model inputs can be used to
interpret the predictive model and to explain its predictions. We present
results of experiments that demonstrate the effectiveness of our approach to
the interpretation of black box predictive models via causal attribution in the
case of deep neural network models trained on one synthetic data set (where the
input variables that impact the output variable are known by design) and two
real-world data sets: Handwritten digit classification, and Parkinson's disease
severity prediction. Because our approach does not require knowledge about the
predictive model algorithm and is free of assumptions regarding the black box
predictive model except that its input-output responses be observable, it can
be applied, in principle, to any black box predictive model.
- Abstract（参考訳）: 機械学習を用いて訓練された予測モデルの採用が、医療、治安、刑事司法、財務、教育など、幅広い高度な応用にまたがって増加し、そのようなモデルとその予測を説明する効果的な技術の必要性が高まっている。
我々は、予測モデルがブラックボックスである設定、すなわち、様々な入力に対するモデルの応答を観察できるだけでなく、予測モデルの内部構造、パラメータ、目的関数、およびモデルを最適化するのに使用されるアルゴリズムに関する知識を持たない設定でこの問題に対処することを目指している。
モデル入力と対応する出力の観測から、ブラックボックス予測モデルをモデル出力に対する各モデル入力の因果効果を推定する方法に解釈する問題を低減させる。
観測データから因果効果を推定するためのrubin neyman potential outcomes frameworkの変種を用いて,モデル入力のモデル出力に対する因果効果を推定する。
モデル入力に対するモデル出力に対する責任の因果関係が、予測モデルを解釈し、その予測を説明するためにどのように使用できるかを示す。
本研究では,1つの合成データセット(出力変数に影響を与える入力変数が設計上知られている)と2つの実世界のデータセット(手書き桁分類,パーキンソン病重症度予測)で訓練されたディープニューラルネットワークモデルにおいて,因果属性によるブラックボックス予測モデルの解釈の有効性を示す実験結果を示す。
我々の手法は予測モデルアルゴリズムに関する知識を必要とせず、入力出力応答が観測可能であること以外はブラックボックス予測モデルに関する仮定を含まないため、原則としてブラックボックス予測モデルに適用することができる。
関連論文リスト
- Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
拡散モデルは、生成的モデリングに大きな進歩をもたらした。
しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。
本稿では,テキスト・インフルエンス・ファンクション・フレームワークを開発することにより,このような課題に対処することを目的とする。
論文 参考訳（メタデータ） (2024-10-17T17:59:02Z) - Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳（メタデータ） (2024-08-24T18:28:19Z) - Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳（メタデータ） (2024-02-12T16:15:25Z) - A performance characteristic curve for model evaluation: the application
in information diffusion prediction [3.8711489380602804]
拡散データ中のランダム性を定量化するために,情報エントロピーに基づくメトリクスを提案し,モデルのランダム性と予測精度の間のスケーリングパターンを同定する。
異なるシーケンス長、システムサイズ、ランダム性によるパターンのデータポイントは、すべて単一の曲線に崩壊し、正しい予測を行うモデル固有の能力を取得する。
曲線の妥当性は、同じ家系の3つの予測モデルによって検証され、既存の研究と一致して結論に達する。
論文 参考訳（メタデータ） (2023-09-18T07:32:57Z) - A prediction and behavioural analysis of machine learning methods for
modelling travel mode choice [0.26249027950824505]
我々は、モデル選択に影響を及ぼす可能性のある重要な要因の観点から、複数のモデリング問題に対して異なるモデリングアプローチを体系的に比較する。
その結果,非凝集性予測性能が最も高いモデルでは,行動指標やアグリゲーションモードのシェアが低下することが示唆された。
MNLモデルは様々な状況において堅牢に機能するが、ML手法はWillingness to Payのような行動指標の推定を改善することができる。
論文 参考訳（メタデータ） (2023-01-11T11:10:32Z) - Stability of clinical prediction models developed using statistical or
machine learning methods [0.5482532589225552]
臨床予測モデルは、複数の予測器の値に基づいて、個人の特定の健康結果のリスクを推定する。
多くのモデルは、モデルとその予測(推定リスク)の不安定性につながる小さなデータセットを使用して開発されている。
モデルの推定リスクの不安定性は、しばしばかなりのものであり、新しいデータにおける予測の誤校正として現れます。
論文 参考訳（メタデータ） (2022-11-02T11:55:28Z) - Measuring Causal Effects of Data Statistics on Language Model's
`Factual' Predictions [59.284907093349425]
大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。
トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。
我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
論文 参考訳（メタデータ） (2022-07-28T17:36:24Z) - Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。
わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。
これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
論文 参考訳（メタデータ） (2022-04-17T15:55:18Z) - Black-box Adversarial Attacks on Network-wide Multi-step Traffic State
Prediction Models [4.353029347463806]
予測モデルをブラックボックスとして扱うことで,敵攻撃の枠組みを提案する。
相手は任意の入力で予測モデルを導出し、対応する出力を得る。
攻撃の有効性を検証するため,グラフニューラルネットワークベースモデル(GCGRNNとDCRNN)の2つの状態について検討した。
論文 参考訳（メタデータ） (2021-10-17T03:45:35Z) - Hessian-based toolbox for reliable and interpretable machine learning in
physics [58.720142291102135]
本稿では,モデルアーキテクチャの解釈可能性と信頼性,外挿を行うためのツールボックスを提案する。
与えられたテストポイントでの予測に対する入力データの影響、モデル予測の不確実性の推定、およびモデル予測の不可知スコアを提供する。
我々の研究は、物理学やより一般的には科学に適用されたMLにおける解釈可能性と信頼性の方法の体系的利用への道を開く。
論文 参考訳（メタデータ） (2021-08-04T16:32:59Z) - A comprehensive study on the prediction reliability of graph neural
networks for virtual screening [0.0]
本稿では,モデルアーキテクチャ,正規化手法,損失関数が分類結果の予測性能および信頼性に与える影響について検討する。
その結果,高い成功率を達成するためには,正則化と推論手法の正しい選択が重要であることが明らかとなった。
論文 参考訳（メタデータ） (2020-03-17T10:13:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。