論文の概要: Do not explain without context: addressing the blind spot of model explanations

• arxiv url: http://arxiv.org/abs/2105.13787v1
• Date: Fri, 28 May 2021 12:48:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 13:31:28.199791
• Title: Do not explain without context: addressing the blind spot of model explanations
• Title（参考訳）: 文脈なしで説明してはいけない:モデル説明の盲点に対処する
• Authors: Katarzyna Wo\'znica, Katarzyna P\k{e}kala, Hubert Baniecki, Wojciech Kretowicz, El\.zbieta Sienkiewicz and Przemys{\l}aw Biecek
• Abstract要約: 本稿では,機械学習モデルの監視と監査においてしばしば見落とされがちな盲点について述べる。 モデル説明の多くは参照データ分布の選択に直接的または間接的に依存する。 分布の小さな変化が、傾向の変化や、注意深い結論などの説明に劇的な変化をもたらす例を示す。
• 参考スコア（独自算出の注目度）: 2.280298858971133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing number of regulations and expectations of predictive machine learning models, such as so called right to explanation, has led to a large number of methods promising greater interpretability. High demand has led to a widespread adoption of XAI techniques like Shapley values, Partial Dependence profiles or permutational variable importance. However, we still do not know enough about their properties and how they manifest in the context in which explanations are created by analysts, reviewed by auditors, and interpreted by various stakeholders. This paper highlights a blind spot which, although critical, is often overlooked when monitoring and auditing machine learning models: the effect of the reference data on the explanation calculation. We discuss that many model explanations depend directly or indirectly on the choice of the referenced data distribution. We showcase examples where small changes in the distribution lead to drastic changes in the explanations, such as a change in trend or, alarmingly, a conclusion. Consequently, we postulate that obtaining robust and useful explanations always requires supporting them with a broader context.
• Abstract（参考訳）: 予測機械学習モデルの規則や期待の増大は、説明の権利(right to explanation)と呼ばれ、解釈可能性を高めることを約束する多くの方法につながった。 高需要により、Shapley値や部分依存プロファイル、置換変数の重要性といったXAIテクニックが広く採用されている。 しかし、それらの特性や、アナリストが説明を作成し、監査役がレビューし、様々な利害関係者が解釈する文脈でどのように現れるのかについては、まだ十分に分かっていない。 本稿では、機械学習モデルの監視と監査において、重要ではあるがしばしば見落とされがちな盲点を取り上げ、参照データが説明計算に与える影響について述べる。 モデル説明の多くは参照データ分布の選択に直接的または間接的に依存する。 我々は, 分布の小さな変化が, 傾向の変化や, 驚くべきことに結論など, 説明の劇的な変化をもたらす例を示す。 したがって、堅牢で有用な説明を得るには、常により広い文脈でそれをサポートする必要があると仮定する。

関連論文リスト

• Hard to Explain: On the Computational Hardness of In-Distribution Model Interpretation [0.9558392439655016]
  機械学習(ML)モデルを解釈する能力はますます不可欠になりつつある。 近年の研究では、様々なモデルの意思決定を説明する計算複雑性を研究することにより、解釈可能性について正式に評価することが可能であることが示されている。
  論文  参考訳（メタデータ） (2024-08-07T17:20:52Z)
• A Critical Assessment of Interpretable and Explainable Machine Learning for Intrusion Detection [0.0]
  本稿では,過度に複雑で不透明なMLモデル,不均衡なデータと相関した特徴,異なる説明法における不整合な影響特徴,そして説明の不可能な有用性について検討する。 具体的には、Deep Neural Networksのような複雑な不透明モデルを避け、代わりにDecision Treesのような解釈可能なMLモデルを使用することを推奨する。 機能ベースのモデル説明は、多くの場合、異なる設定で矛盾している。
  論文  参考訳（メタデータ） (2024-07-04T15:35:42Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Counterfactuals of Counterfactuals: a back-translation-inspired approach to analyse counterfactual editors [3.4253416336476246]
  我々は、反事実的、対照的な説明の分析に焦点をあてる。 本稿では,新しい逆翻訳に基づく評価手法を提案する。 本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:04:28Z)
• Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models [77.34726150561087]
  本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。 本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
  論文  参考訳（メタデータ） (2022-03-30T05:59:50Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Explainers in the Wild: Making Surrogate Explainers Robust to Distortions through Perception [77.34726150561087]
  説明における歪みの影響を知覚距離を埋め込むことで評価する手法を提案する。 Imagenet-Cデータセットの画像の説明を生成し、サロゲート説明書の知覚距離を使用して歪んだ画像と参照画像のより一貫性のある説明を作成する方法を示しています。
  論文  参考訳（メタデータ） (2021-02-22T12:38:53Z)
• The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal Sufficient Subsets [61.66584140190247]
  機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。 そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
  論文  参考訳（メタデータ） (2020-09-23T09:45:23Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。