論文の概要: Towards a Rigorous Evaluation of Explainability for Multivariate Time
Series
- arxiv url: http://arxiv.org/abs/2104.04075v1
- Date: Tue, 6 Apr 2021 17:16:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-04 09:25:43.312389
- Title: Towards a Rigorous Evaluation of Explainability for Multivariate Time
Series
- Title(参考訳): 多変量時系列の説明可能性の厳密な評価に向けて
- Authors: Rohit Saluja, Avleen Malhi, Samanta Knapi\v{c}, Kary Fr\"amling, Cicek
Cavdar
- Abstract要約: 本研究では,時系列予測問題におけるモデル非依存な説明可能性の実現と評価を行った。
その解決策は、販売契約を予測する時系列予測問題として問題をフレーミングすることであった。
LIMEとSHAPによる説明は、機械学習モデルによる予測を理解する上で、人間を大いに助けた。
- 参考スコア(独自算出の注目度): 5.786452383826203
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Machine learning-based systems are rapidly gaining popularity and in-line
with that there has been a huge research surge in the field of explainability
to ensure that machine learning models are reliable, fair, and can be held
liable for their decision-making process. Explainable Artificial Intelligence
(XAI) methods are typically deployed to debug black-box machine learning models
but in comparison to tabular, text, and image data, explainability in time
series is still relatively unexplored. The aim of this study was to achieve and
evaluate model agnostic explainability in a time series forecasting problem.
This work focused on proving a solution for a digital consultancy company
aiming to find a data-driven approach in order to understand the effect of
their sales related activities on the sales deals closed. The solution involved
framing the problem as a time series forecasting problem to predict the sales
deals and the explainability was achieved using two novel model agnostic
explainability techniques, Local explainable model-agnostic explanations (LIME)
and Shapley additive explanations (SHAP) which were evaluated using human
evaluation of explainability. The results clearly indicate that the
explanations produced by LIME and SHAP greatly helped lay humans in
understanding the predictions made by the machine learning model. The presented
work can easily be extended to any time
- Abstract(参考訳): 機械学習ベースのシステムは急速に普及しており、機械学習モデルが信頼性が高く公平であり、意思決定プロセスに責任を負うことができることを保証するために、説明可能性の分野で大きな研究が急増している。
説明可能な人工知能(XAI)メソッドは通常、ブラックボックス機械学習モデルをデバッグするためにデプロイされるが、表、テキスト、画像データと比較すると、時系列での説明可能性はまだ明らかにされていない。
本研究の目的は,時系列予測問題におけるモデル非依存な説明可能性の実現と評価である。
本研究は、販売関連活動が販売契約を締結した際の影響を理解するために、データ駆動型アプローチを模索するデジタルコンサルタント企業のソリューションの証明に焦点を当てた。
提案手法は, 販売契約を予測するための時系列予測問題と説明可能性に関する2つの新しいモデル非説明可能性手法, 局所説明型モデル非説明説明法 (LIME) とシェープ型追加説明法 (SHAP) を用いて, 人による説明可能性の評価を行った。
その結果, LIME と SHAP による説明は, 機械学習モデルによる予測を人間に理解させるのに大いに役立ったことが明らかとなった。
提示された作品はいつでも簡単に拡張できる
関連論文リスト
- XForecast: Evaluating Natural Language Explanations for Time Series Forecasting [72.57427992446698]
時系列予測は、特に正確な予測に依存するステークホルダーにとって、意思決定を支援する。
伝統的に説明可能なAI(XAI)メソッドは、機能や時間的重要性を基盤とするものであり、専門家の知識を必要とすることが多い。
時系列データにおける複雑な因果関係のため,予測NLEの評価は困難である。
論文 参考訳(メタデータ) (2024-10-18T05:16:39Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - LaPLACE: Probabilistic Local Model-Agnostic Causal Explanations [1.0370398945228227]
本稿では,機械学習モデルに対する確率論的原因・効果説明を提供するLaPLACE-Explainerを紹介する。
LaPLACE-Explainerコンポーネントはマルコフ毛布の概念を利用して、関連する特徴と非関連する特徴の間の統計的境界を確立する。
提案手法は,LIME と SHAP の局所的精度と特徴の整合性の観点から,因果的説明と性能を向上する。
論文 参考訳(メタデータ) (2023-10-01T04:09:59Z) - Predictability and Comprehensibility in Post-Hoc XAI Methods: A
User-Centered Analysis [6.606409729669314]
ポストホック説明可能性法は、ブラックボックス機械学習モデルの予測を明らかにすることを目的としている。
我々は、LIMEとSHAPの2つの広く使われているツールにおいて、理解性と予測可能性を評価するために、ユーザスタディを実施している。
モデル決定境界付近のサンプルに対して説明を行うと,SHAPの理解度が大幅に低下することがわかった。
論文 参考訳(メタデータ) (2023-09-21T11:54:20Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-14T23:24:01Z) - Explainability in Process Outcome Prediction: Guidelines to Obtain
Interpretable and Faithful Models [77.34726150561087]
本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。
本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
論文 参考訳(メタデータ) (2022-03-30T05:59:50Z) - Explainable AI Enabled Inspection of Business Process Prediction Models [2.5229940062544496]
本稿では,モデル説明を用いて,機械学習の予測によって適用された推論を解析する手法を提案する。
本手法の新たな貢献は,解釈可能な機械学習機構によって生成された説明と,過去のプロセス実行を記録するイベントログから抽出された文脈的,あるいはドメイン的知識の両方を活用するモデル検査の提案である。
論文 参考訳(メタデータ) (2021-07-16T06:51:18Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳(メタデータ) (2021-03-18T12:57:34Z) - TimeSHAP: Explaining Recurrent Models through Sequence Perturbations [3.1498833540989413]
リカレントニューラルネットワークは、多くの機械学習ドメインで標準的なビルディングブロックである。
これらのモデルにおける複雑な意思決定はブラックボックスと見なされ、正確性と解釈可能性の間の緊張を生み出す。
本研究では,モデルに依存しないリカレント説明器であるTimeSHAPを提示することにより,これらのギャップを埋めることに寄与する。
論文 参考訳(メタデータ) (2020-11-30T19:48:57Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳(メタデータ) (2020-08-15T10:11:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。