論文の概要: Towards Locally Explaining Prediction Behavior via Gradual Interventions and Measuring Property Gradients

• arxiv url: http://arxiv.org/abs/2503.05424v1
• Date: Fri, 07 Mar 2025 13:50:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:23:30.751600
• Title: Towards Locally Explaining Prediction Behavior via Gradual Interventions and Measuring Property Gradients
• Title（参考訳）: 直交干渉による局所的予測挙動の解明と特性勾配の測定に向けて
• Authors: Niklas Penzel, Joachim Denzler,
• Abstract要約: ディープラーニングモデルは高い予測性能を達成するが、固有の解釈性は欠如している。 本稿では、画像間編集モデルの最近の進歩を活用して、局所的介入説明のための新しい枠組みを提案する。 提案手法は,モデルの予測に対する対応する影響を定量化するために,意味的特性の段階的介入を行う。
• 参考スコア（独自算出の注目度）: 9.961090778082285
• License:
• Abstract: Deep learning models achieve high predictive performance but lack intrinsic interpretability, hindering our understanding of the learned prediction behavior. Existing local explainability methods focus on associations, neglecting the causal drivers of model predictions. Other approaches adopt a causal perspective but primarily provide more general global explanations. However, for specific inputs, it's unclear whether globally identified factors apply locally. To address this limitation, we introduce a novel framework for local interventional explanations by leveraging recent advances in image-to-image editing models. Our approach performs gradual interventions on semantic properties to quantify the corresponding impact on a model's predictions using a novel score, the expected property gradient magnitude. We demonstrate the effectiveness of our approach through an extensive empirical evaluation on a wide range of architectures and tasks. First, we validate it in a synthetic scenario and demonstrate its ability to locally identify biases. Afterward, we apply our approach to analyze network training dynamics, investigate medical skin lesion classifiers, and study a pre-trained CLIP model with real-life interventional data. Our results highlight the potential of interventional explanations on the property level to reveal new insights into the behavior of deep models.
• Abstract（参考訳）: ディープラーニングモデルは高い予測性能を実現するが、本質的な解釈性が欠如しており、学習した予測行動の理解を妨げる。 既存の局所的説明可能性法は、モデル予測の因果的要因を無視し、関連性に焦点を当てている。 他のアプローチは因果的な視点を採用するが、主により一般的なグローバルな説明を提供する。 しかし、特定の入力については、グローバルに特定された要因が局所的に適用されるかどうかは不明だ。 この制限に対処するために,画像と画像の編集モデルにおける最近の進歩を活用して,局所的介入説明のための新しい枠組みを導入する。 提案手法は,新しいスコア,期待される特性勾配等級を用いて,モデルの予測に対する対応する影響を定量化するために,意味的特性の段階的介入を行う。 幅広いアーキテクチャやタスクに対する広範な経験的評価を通じて,我々のアプローチの有効性を実証する。 まず、合成シナリオで検証し、バイアスを局所的に識別する能力を実証する。 その後、ネットワークトレーニングのダイナミクスを分析し、医療用皮膚病変分類器を調査し、実生活における介入データを用いた事前学習CLIPモデルについて検討した。 本研究は, 深層モデルの挙動に関する新たな知見を明らかにするため, 特性レベルの介入的説明の可能性を明らかにするものである。

関連論文リスト

• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• Towards Generalizable and Interpretable Motion Prediction: A Deep Variational Bayes Approach [54.429396802848224]
  本稿では,分布外ケースに対する頑健な一般化性を有する動き予測のための解釈可能な生成モデルを提案する。 このモデルでは, 長期目的地の空間分布を推定することにより, 目標駆動動作予測を実現する。 動き予測データセットの実験は、適合したモデルが解釈可能で一般化可能であることを検証した。
  論文  参考訳（メタデータ） (2024-03-10T04:16:04Z)
• Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
  得られた知識を有向非巡回因果グラフの形で公開することを提案する。 また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。 提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2023-09-30T20:59:42Z)
• Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
  我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。 分類タスクで訓練された視覚モデルに本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-15T18:37:24Z)
• A Closer Look at the Intervention Procedure of Concept Bottleneck Models [18.222350428973343]
  概念ボトルネックモデル(コンセプションボトルネックモデル、CBM)は、その高レベルな概念に基づいて与えられた入力のターゲット応答を予測する、解釈可能なニューラルネットワークモデルのクラスである。 CBMは、ドメインの専門家が予測された概念に介入し、テスト時に間違いを修正できるので、最後にもっと正確なタスク予測ができる。 本研究では,介入効果を向上させるために介入概念を選択する様々な方法を開発し,異なる状況下でどのように進化するかを詳細に分析する。
  論文  参考訳（メタデータ） (2023-02-28T02:37:24Z)
• Why Did This Model Forecast This Future? Closed-Form Temporal Saliency Towards Causal Explanations of Probabilistic Forecasts [20.442850522575213]
  我々は、人間の知覚に基づく情報理論の一般的な定義の上に構築する。 本稿では, 将来の予測分布の差分エントロピーの観点から, 観測窓の塩分濃度を表現することを提案する。 筆者らは,本フレームワークを用いて,発話方向予測のサンプルタスクにおいて,頭部ポーズ機能から有意な窓を復元する方法を実証的に実証した。
  論文  参考訳（メタデータ） (2022-06-01T18:00:04Z)
• Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models [77.34726150561087]
  本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。 本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
  論文  参考訳（メタデータ） (2022-03-30T05:59:50Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Information-theoretic Evolution of Model Agnostic Global Explanations [10.921146104622972]
  本論文では,数値・分類データに基づく分類モデルの挙動をグローバルに説明するためのルールを導出する新しいモデル非依存アプローチを提案する。 当社のアプローチは、主要なデジタルマーケティングスイートに展開されています。
  論文  参考訳（メタデータ） (2021-05-14T16:52:16Z)
• Building Reliable Explanations of Unreliable Neural Networks: Locally Smoothing Perspective of Model Interpretation [0.0]
  本稿では,ニューラルネットワークの予測を確実に説明するための新しい手法を提案する。 本手法は,モデル予測の損失関数における平滑な景観の仮定に基づいて構築される。
  論文  参考訳（メタデータ） (2021-03-26T08:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。