論文の概要: From Model Explanation to Data Misinterpretation: Uncovering the Pitfalls of Post Hoc Explainers in Business Research

• arxiv url: http://arxiv.org/abs/2408.16987v1
• Date: Fri, 30 Aug 2024 03:22:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 16:29:13.393741
• Title: From Model Explanation to Data Misinterpretation: Uncovering the Pitfalls of Post Hoc Explainers in Business Research
• Title（参考訳）: モデル説明からデータ解釈へ:ビジネス研究におけるポストホック説明者の落とし穴を明らかにする
• Authors: Ronilo Ragodos, Tong Wang, Lu Feng, Yu, Hu,
• Abstract要約: ビジネス研究では、データに関する推論にポストホックな説明が使われる傾向が増えている。 この論文の最終的な目標は、機械学習モデルのポストホックな説明を、潜在的に誤った洞察とデータの理解に翻訳しないように、ビジネス研究者に警告することである。
• 参考スコア（独自算出の注目度）: 3.7209396288545338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models have been increasingly used in business research. However, most state-of-the-art machine learning models, such as deep neural networks and XGBoost, are black boxes in nature. Therefore, post hoc explainers that provide explanations for machine learning models by, for example, estimating numerical importance of the input features, have been gaining wide usage. Despite the intended use of post hoc explainers being explaining machine learning models, we found a growing trend in business research where post hoc explanations are used to draw inferences about the data. In this work, we investigate the validity of such use. Specifically, we investigate with extensive experiments whether the explanations obtained by the two most popular post hoc explainers, SHAP and LIME, provide correct information about the true marginal effects of X on Y in the data, which we call data-alignment. We then identify what factors influence the alignment of explanations. Finally, we propose a set of mitigation strategies to improve the data-alignment of explanations and demonstrate their effectiveness with real-world data in an econometric context. In spite of this effort, we nevertheless conclude that it is often not appropriate to infer data insights from post hoc explanations. We articulate appropriate alternative uses, the most important of which is to facilitate the proposition and subsequent empirical investigation of hypotheses. The ultimate goal of this paper is to caution business researchers against translating post hoc explanations of machine learning models into potentially false insights and understanding of data.
• Abstract（参考訳）: 機械学習モデルは、ビジネス研究でますます使われている。 しかしながら、ディープニューラルネットワークやXGBoostのような最先端の機械学習モデルは、本質的にブラックボックスである。 そのため、例えば入力特徴の数値的重要性を推定するなど、機械学習モデルの説明を提供するポストホック説明器が広く使われている。 機械学習モデルの説明にポストホックの説明を意図した使用にもかかわらず、ビジネス研究では、ポストホックの説明がデータに関する推論に使用される傾向が増加している。 本研究では,そのような使用の有効性について検討する。 具体的には、データアライメント(データアライメント)と呼ばれるデータにおいて、最も人気のある2つのポストホック説明器(SHAP)とLIME(LIME)によって得られた説明が、X on Yの真の限界効果について正しい情報を提供するかどうかを広範囲にわたる実験で調査する。 次に、説明のアライメントに影響を与える要因を特定する。 最後に,説明文のデータアライメントを改善するための緩和策を提案する。 このような努力にもかかわらず、ポストホックな説明からデータインサイトを推測するのは適切ではないと結論付けています。 我々は適切な代替用途を明確化し、その中で最も重要なのは仮説の提案とその後の実証的研究を促進することである。 この論文の最終的な目標は、機械学習モデルのポストホックな説明を、潜在的に誤った洞察とデータの理解に翻訳しないように、ビジネス研究者に警告することである。

関連論文リスト

• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Robust Ante-hoc Graph Explainer using Bilevel Optimization [0.7999703756441758]
  グラフニューラルネットワークのための新鮮でフレキシブルなアンテホック説明器 RAGE を提案する。 RAGEは、予測に必要な完全な情報を含む分子サブ構造を効果的に識別することができる。 種々の分子分類タスクに関する実験により、RAGEの説明は既存のポストホック法やアンテホック法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-25T05:50:38Z)
• Are Data-driven Explanations Robust against Out-of-distribution Data? [18.760475318852375]
  エンドツーエンドのモデルに依存しない学習フレームワークであるDis Distributionally Robust Explanations (DRE)を提案する。 鍵となる考え方は、分配情報を完全に活用して、人間のアノテーションを使わずに説明の学習のための監視信号を提供することである。 提案手法は,分布変化に対する説明と予測の堅牢性の観点から,モデルの性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-03-29T02:02:08Z)
• Studying the explanations for the automated prediction of bug and non-bug issues using LIME and SHAP [7.792303263390021]
  機械学習モデルが、人間として私たちにとって妥当な分類の説明を提供するかどうかを理解したい。 また、予測品質が説明の質と相関しているかどうかも知りたい。
  論文  参考訳（メタデータ） (2022-09-15T21:45:46Z)
• Visual Abductive Reasoning [85.17040703205608]
  帰納的推論は、部分的な観察の可能な限りの可能な説明を求める。 本稿では,日常的な視覚的状況下でのマシンインテリジェンスの帰納的推論能力を調べるために,新たなタスクとデータセットであるVisual Abductive Reasoning(VAR)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T10:17:03Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)
• Model extraction from counterfactual explanations [68.8204255655161]
  本稿では, 敵が反実的説明によって提供された情報を利用して, 高精度かつ高精度なモデル抽出攻撃を構築する方法を示す。 我々の攻撃は、敵が相手モデルの忠実なコピーを、その偽説明にアクセスして作成することを可能にする。
  論文  参考訳（メタデータ） (2020-09-03T19:02:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。