論文の概要: Causal Analysis for Robust Interpretability of Neural Networks
- arxiv url: http://arxiv.org/abs/2305.08950v2
- Date: Tue, 20 Jun 2023 15:43:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 02:10:25.959922
- Title: Causal Analysis for Robust Interpretability of Neural Networks
- Title（参考訳）: ニューラルネットワークのロバスト解釈可能性に関する因果解析
- Authors: Ola Ahmad, Nicolas Bereux, Lo\"ic Baret, Vahid Hashemi, Freddy Lecue
- Abstract要約: 我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。
分類タスクで訓練された視覚モデルに本手法を適用した。
- 参考スコア（独自算出の注目度）: 0.2519906683279152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interpreting the inner function of neural networks is crucial for the
trustworthy development and deployment of these black-box models. Prior
interpretability methods focus on correlation-based measures to attribute model
decisions to individual examples. However, these measures are susceptible to
noise and spurious correlations encoded in the model during the training phase
(e.g., biased inputs, model overfitting, or misspecification). Moreover, this
process has proven to result in noisy and unstable attributions that prevent
any transparent understanding of the model's behavior. In this paper, we
develop a robust interventional-based method grounded by causal analysis to
capture cause-effect mechanisms in pre-trained neural networks and their
relation to the prediction. Our novel approach relies on path interventions to
infer the causal mechanisms within hidden layers and isolate relevant and
necessary information (to model prediction), avoiding noisy ones. The result is
task-specific causal explanatory graphs that can audit model behavior and
express the actual causes underlying its performance. We apply our method to
vision models trained on classification tasks. On image classification tasks,
we provide extensive quantitative experiments to show that our approach can
capture more stable and faithful explanations than standard attribution-based
methods. Furthermore, the underlying causal graphs reveal the neural
interactions in the model, making it a valuable tool in other applications
(e.g., model repair).
- Abstract（参考訳）: ニューラルネットワークの内部機能を解釈することは、これらのブラックボックスモデルの信頼性の高い開発と展開に不可欠である。
従来の解釈可能性の手法は、モデル決定を個々の例に当てはめる相関に基づく尺度にフォーカスする。
しかしながら、これらの尺度は、トレーニングフェーズ中にモデルにエンコードされたノイズやスプリアス相関(例えば、バイアス入力、モデル過剰フィッティング、誤特定)に影響を受けやすい。
さらに、このプロセスは、モデルの振る舞いの透明な理解を妨げるノイズと不安定な属性をもたらすことが証明されている。
本稿では、因果解析に基づく頑健な介入に基づく手法を開発し、事前学習ニューラルネットワークの因果影響メカニズムとその予測との関係を明らかにする。
我々の新しいアプローチは、隠れた層内の因果メカニズムを推測し、関連する情報(モデル予測)を分離し、ノイズを避けるために経路介入に依存する。
その結果、タスク固有の因果説明グラフがモデル動作を監査し、そのパフォーマンスの根底にある実際の原因を表現できる。
本手法を分類タスクを訓練した視覚モデルに適用する。
画像分類タスクにおいて,本手法が標準帰属法よりも安定かつ忠実な説明を得られることを示すため,広範囲な定量的実験を行った。
さらに、基礎となる因果グラフはモデル内の神経相互作用を明らかにし、他のアプリケーション(例えばモデル修復)で有用なツールとなる。
関連論文リスト
- Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳（メタデータ） (2024-08-24T18:28:19Z) - Axiomatic Causal Interventions for Reverse Engineering Relevance Computation in Neural Retrieval Models [20.29451537633895]
本稿では,ニューラルランサーのリバースエンジニアリングにおける因果介入法を提案する。
本稿では, 項周波数公理を満たす成分を分離するために, 機械的解釈可能性法をどのように利用できるかを示す。
論文 参考訳（メタデータ） (2024-05-03T22:30:15Z) - Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
得られた知識を有向非巡回因果グラフの形で公開することを提案する。
また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。
提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
論文 参考訳（メタデータ） (2023-09-30T20:59:42Z) - Study of Distractors in Neural Models of Code [4.043200001974071]
ニューラルネットワークの予測に寄与する重要な特徴を見つけることは、説明可能なAIの研究の活発な領域である。
本研究では,その予測に対するモデルの信頼度に影響を与えることによって,予測に疑問を呈する特徴について考察する。
さまざまなタスク、モデル、コードのデータセットにわたる実験により、トークンの削除が予測におけるモデルの信頼性に大きな影響を与えることが判明した。
論文 参考訳（メタデータ） (2023-03-03T06:54:01Z) - Influence Tuning: Demoting Spurious Correlations via Instance
Attribution and Instance-Driven Updates [26.527311287924995]
インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。
制御された設定では、インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。
論文 参考訳（メタデータ） (2021-10-07T06:59:46Z) - Estimation of Bivariate Structural Causal Models by Variational Gaussian
Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
因果機構は構造因果モデルによって記述できる。
最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
論文 参考訳（メタデータ） (2021-09-06T14:52:58Z) - Building Reliable Explanations of Unreliable Neural Networks: Locally
Smoothing Perspective of Model Interpretation [0.0]
本稿では,ニューラルネットワークの予測を確実に説明するための新しい手法を提案する。
本手法は,モデル予測の損失関数における平滑な景観の仮定に基づいて構築される。
論文 参考訳（メタデータ） (2021-03-26T08:52:11Z) - Explainable Adversarial Attacks in Deep Neural Networks Using Activation
Profiles [69.9674326582747]
本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。
これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
論文 参考訳（メタデータ） (2021-03-18T13:04:21Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳（メタデータ） (2020-12-17T15:19:29Z) - Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。
この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。
実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
論文 参考訳（メタデータ） (2020-08-02T11:19:36Z) - A comprehensive study on the prediction reliability of graph neural
networks for virtual screening [0.0]
本稿では,モデルアーキテクチャ,正規化手法,損失関数が分類結果の予測性能および信頼性に与える影響について検討する。
その結果,高い成功率を達成するためには,正則化と推論手法の正しい選択が重要であることが明らかとなった。
論文 参考訳（メタデータ） (2020-03-17T10:13:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。