論文の概要: Dissenting Explanations: Leveraging Disagreement to Reduce Model Overreliance
- arxiv url: http://arxiv.org/abs/2307.07636v3
- Date: Thu, 8 Aug 2024 01:48:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-09 21:19:12.371076
- Title: Dissenting Explanations: Leveraging Disagreement to Reduce Model Overreliance
- Title(参考訳): 意見の相違 - モデルの過度さを軽減するための相違の活用
- Authors: Omer Reingold, Judy Hanwen Shen, Aditi Talati,
- Abstract要約: 本稿では, 矛盾する説明, 付随する説明と矛盾する予測について紹介する。
まず、モデル乗法の設定における不一致の説明の利点を考察する。
本研究では,不一致説明が全体の精度を低下させることなく,モデル予測の過度な信頼性を低下させることを実証する。
- 参考スコア(独自算出の注目度): 4.962171160815189
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While explainability is a desirable characteristic of increasingly complex black-box models, modern explanation methods have been shown to be inconsistent and contradictory. The semantics of explanations is not always fully understood - to what extent do explanations "explain" a decision and to what extent do they merely advocate for a decision? Can we help humans gain insights from explanations accompanying correct predictions and not over-rely on incorrect predictions advocated for by explanations? With this perspective in mind, we introduce the notion of dissenting explanations: conflicting predictions with accompanying explanations. We first explore the advantage of dissenting explanations in the setting of model multiplicity, where multiple models with similar performance may have different predictions. In such cases, providing dissenting explanations could be done by invoking the explanations of disagreeing models. Through a pilot study, we demonstrate that dissenting explanations reduce overreliance on model predictions, without reducing overall accuracy. Motivated by the utility of dissenting explanations we present both global and local methods for their generation.
- Abstract(参考訳): 説明可能性(英語版)はますます複雑なブラックボックスモデルの望ましい特徴であるが、現代の説明法は矛盾し、矛盾があることが示されている。
説明の意味論は必ずしも完全には理解されていない - どの程度まで、説明は決定を「説明」し、どの程度は単に決定を主張するだけなのか?
人間は正しい予測を伴う説明から洞察を得るのに役立ち、説明によって提唱される誤った予測を過度に反映しないだろうか?
この観点を念頭に置いて, 矛盾する説明, 付随する説明と矛盾する予測という, 矛盾する説明の概念を導入する。
まず、類似した性能を持つ複数のモデルが異なる予測を行うモデル乗法の設定において、不一致な説明の利点を考察する。
そのような場合、不一致なモデルの説明を呼び起こすことで、不一致な説明を提供することが可能である。
実験により,不一致説明は全体の精度を低下させることなく,モデル予測に対する過度な信頼を低下させることを示した。
本研究は,グローバルな手法とローカルな手法の両方を世代に提示する,不一致説明の実用性に動機づけられた。
関連論文リスト
- DiConStruct: Causal Concept-based Explanations through Black-Box
Distillation [9.735426765564474]
本稿では,概念ベースと因果性の両方を考慮した説明手法であるDiConStructを提案する。
本報告では, ブラックボックス機械学習モデルに対する蒸留モデルとして, その予測を近似し, それぞれの説明を生成する。
論文 参考訳(メタデータ) (2024-01-16T17:54:02Z) - Counterfactual Explanations for Predictive Business Process Monitoring [0.90238471756546]
本稿では,予測プロセス監視のための対実的説明手法であるLORELEYを提案する。
LORELEYは平均忠実度97.69%の予測モデルを近似し、現実的な対実的な説明を生成する。
論文 参考訳(メタデータ) (2022-02-24T11:01:20Z) - Causal Explanations and XAI [8.909115457491522]
説明可能な人工知能(XAI)の重要な目標は、説明を提供することでミスマッチを補うことである。
十分な説明と事実的説明の因果的概念を正式に定義し、さらに一歩踏み出します。
また、この研究のAIにおける公正性に対する重要性についても触れ、パス固有の反現実的公正性の概念を改善するために、実際の因果関係をどのように利用できるかを示しています。
論文 参考訳(メタデータ) (2022-01-31T12:32:10Z) - Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
テキストデータ上でのサリエンシに基づく説明について検討する。
人はしばしば説明を誤って解釈する。
本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
論文 参考訳(メタデータ) (2022-01-27T15:20:32Z) - Contrastive Explanations for Model Interpretability [77.92370750072831]
分類モデルの対照的説明を生成する手法を提案する。
本手法は潜在空間へのモデル表現の投影に基づいている。
本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
論文 参考訳(メタデータ) (2021-03-02T00:36:45Z) - Explainers in the Wild: Making Surrogate Explainers Robust to
Distortions through Perception [77.34726150561087]
説明における歪みの影響を知覚距離を埋め込むことで評価する手法を提案する。
Imagenet-Cデータセットの画像の説明を生成し、サロゲート説明書の知覚距離を使用して歪んだ画像と参照画像のより一貫性のある説明を作成する方法を示しています。
論文 参考訳(メタデータ) (2021-02-22T12:38:53Z) - Evaluating Explanations: How much do explanations from the teacher aid
students? [103.05037537415811]
本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。
説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
論文 参考訳(メタデータ) (2020-12-01T23:40:21Z) - Towards Interpretable Natural Language Understanding with Explanations
as Latent Variables [146.83882632854485]
そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。
我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
論文 参考訳(メタデータ) (2020-10-24T02:05:56Z) - The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal
Sufficient Subsets [61.66584140190247]
機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。
そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
論文 参考訳(メタデータ) (2020-09-23T09:45:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。