論文の概要: Explaining Data-Driven Decisions made by AI Systems: The Counterfactual Approach

• arxiv url: http://arxiv.org/abs/2001.07417v5
• Date: Wed, 13 Oct 2021 07:50:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 23:17:11.504392
• Title: Explaining Data-Driven Decisions made by AI Systems: The Counterfactual Approach
• Title（参考訳）: AIシステムによるデータ駆動決定の説明: 対実的アプローチ
• Authors: Carlos Fern\'andez-Lor\'ia, Foster Provost, Xintian Han
• Abstract要約: 我々は、その決定を因果的に駆動するシステムのデータ入力の集合として、説明を考察する。 モデル予測において重要な重みを持つ特徴が対応する決定に影響を及ぼさない可能性があることを示す。
• 参考スコア（独自算出の注目度）: 11.871523410051527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We examine counterfactual explanations for explaining the decisions made by model-based AI systems. The counterfactual approach we consider defines an explanation as a set of the system's data inputs that causally drives the decision (i.e., changing the inputs in the set changes the decision) and is irreducible (i.e., changing any subset of the inputs does not change the decision). We (1) demonstrate how this framework may be used to provide explanations for decisions made by general, data-driven AI systems that may incorporate features with arbitrary data types and multiple predictive models, and (2) propose a heuristic procedure to find the most useful explanations depending on the context. We then contrast counterfactual explanations with methods that explain model predictions by weighting features according to their importance (e.g., SHAP, LIME) and present two fundamental reasons why we should carefully consider whether importance-weight explanations are well-suited to explain system decisions. Specifically, we show that (i) features that have a large importance weight for a model prediction may not affect the corresponding decision, and (ii) importance weights are insufficient to communicate whether and how features influence decisions. We demonstrate this with several concise examples and three detailed case studies that compare the counterfactual approach with SHAP to illustrate various conditions under which counterfactual explanations explain data-driven decisions better than importance weights.
• Abstract（参考訳）: 本稿では,モデルベースAIシステムによる意思決定を説明するために,事実説明を検討する。 私たちが検討する反事実的アプローチは、説明を、決定を因果的に駆動するシステムのデータ入力の集合(つまり、セット内の入力を変更すると決定が変わる)で既約である(すなわち、入力のサブセットを変更すると決定が変わることはない)と定義する。 筆者らは,(1)任意のデータ型と複数の予測モデルを持つ特徴を組み込んだ一般データ駆動型AIシステムによる意思決定に,このフレームワークをどのように活用するかを示し,(2)コンテキストに応じて最も有用な説明を見つけるためのヒューリスティックな手順を提案する。 次に,その重要性に応じて特徴を重み付けすることでモデル予測を説明する手法(SHAP, LIMEなど)と比較し,重み付けの説明がシステム決定に適しているかどうかを慎重に検討すべき2つの根本的な理由を示す。 具体的には (i)モデル予測に重要な重みを有する特徴は、対応する決定に影響を与えない場合がある。 (二)重要度は、特徴が意思決定にどう影響するかを伝えるには不十分である。 本研究は,いくつかの簡潔な例と3つの詳細なケーススタディを用いて,対実的アプローチとSHAPを比較して,対実的説明が重みよりもデータ駆動的決定を説明する様々な条件を説明する。

関連論文リスト

• Hard to Explain: On the Computational Hardness of In-Distribution Model Interpretation [0.9558392439655016]
  機械学習(ML)モデルを解釈する能力はますます不可欠になりつつある。 近年の研究では、様々なモデルの意思決定を説明する計算複雑性を研究することにより、解釈可能性について正式に評価することが可能であることが示されている。
  論文  参考訳（メタデータ） (2024-08-07T17:20:52Z)
• An AI Architecture with the Capability to Explain Recognition Results [0.0]
  本研究は、説明可能性に対するメトリクスの重要性に焦点をあて、性能向上をもたらす2つの方法に貢献する。 第1の方法は説明不能なフローと説明不能なフローの組み合わせを導入し、意思決定の説明容易性を特徴づける指標を提案する。 第2の方法は、システム内のニューラルネットワークの有効性を推定するための古典的なメトリクスを比較し、新しいメトリックをリードパフォーマーとして振る舞う。
  論文  参考訳（メタデータ） (2024-06-13T02:00:13Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Explainable Data-Driven Optimization: From Context to Decision and Back Again [76.84947521482631]
  データ駆動最適化では、コンテキスト情報と機械学習アルゴリズムを使用して、不確実なパラメータによる決定問題の解決策を見つける。 本稿では,データ駆動型問題に対する解法を説明するために,対実的説明手法を提案する。 在庫管理やルーティングといった運用管理における重要な問題を説明することで,我々のアプローチを実証する。
  論文  参考訳（メタデータ） (2023-01-24T15:25:16Z)
• Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models [77.34726150561087]
  本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。 本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
  論文  参考訳（メタデータ） (2022-03-30T05:59:50Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)
• The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal Sufficient Subsets [61.66584140190247]
  機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。 そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
  論文  参考訳（メタデータ） (2020-09-23T09:45:23Z)
• DECE: Decision Explorer with Counterfactual Explanations for Machine Learning Models [36.50754934147469]
  我々は,機械学習モデルの振る舞いを理解し,探索するために,反実的説明の可能性を利用する。 我々は、個別のインスタンスとデータサブセットに関するモデルの判断を理解し、調査するのに役立つインタラクティブな可視化システムであるDECEを設計する。
  論文  参考訳（メタデータ） (2020-08-19T09:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。