論文の概要: Evaluating Explainable Methods for Predictive Process Analytics: A
Functionally-Grounded Approach
- arxiv url: http://arxiv.org/abs/2012.04218v1
- Date: Tue, 8 Dec 2020 05:05:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 21:48:54.844774
- Title: Evaluating Explainable Methods for Predictive Process Analytics: A
Functionally-Grounded Approach
- Title(参考訳): 予測プロセス分析のための説明可能な方法の評価:機能的包括的アプローチ
- Authors: Mythreyi Velmurugan, Chun Ouyang, Catarina Moreira and Renuka
Sindhgatta
- Abstract要約: 予測プロセス分析は、ビジネスプロセスの実行インスタンスの将来の状態を予測することに焦点を当てる。
現在のLIMEやSHAPのような説明可能な機械学習手法は、ブラックボックスモデルの解釈に利用できる。
XGBoost上に構築されたプロセス予測モデルの解釈におけるLIMEとSHAPの性能評価に,提案手法を適用した。
- 参考スコア(独自算出の注目度): 2.2448567386846916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predictive process analytics focuses on predicting the future states of
running instances of a business process. While advanced machine learning
techniques have been used to increase accuracy of predictions, the resulting
predictive models lack transparency. Current explainable machine learning
methods, such as LIME and SHAP, can be used to interpret black box models.
However, it is unclear how fit for purpose these methods are in explaining
process predictive models. In this paper, we draw on evaluation measures used
in the field of explainable AI and propose functionally-grounded evaluation
metrics for assessing explainable methods in predictive process analytics. We
apply the proposed metrics to evaluate the performance of LIME and SHAP in
interpreting process predictive models built on XGBoost, which has been shown
to be relatively accurate in process predictions. We conduct the evaluation
using three open source, real-world event logs and analyse the evaluation
results to derive insights. The research contributes to understanding the
trustworthiness of explainable methods for predictive process analytics as a
fundamental and key step towards human user-oriented evaluation.
- Abstract(参考訳): 予測プロセス分析は、ビジネスプロセスの実行インスタンスの将来の状態を予測することに焦点を当てる。
高度な機械学習技術は予測の精度を高めるために使われてきたが、結果として生じる予測モデルは透明性を欠いている。
現在のLIMEやSHAPのような説明可能な機械学習手法は、ブラックボックスモデルの解釈に利用できる。
しかし、これらの手法がプロセス予測モデルを説明するのにどの程度適しているかは不明である。
本稿では,説明可能なaiの分野における評価尺度を描き,予測過程分析における説明可能な方法を評価するための機能的接地評価指標を提案する。
提案手法は,プロセス予測において比較的正確であることが判明したxgboostを用いたプロセス予測モデルの解釈において,limeとshapの性能評価に応用する。
我々は,実世界の3つのイベントログを用いて評価を行い,その評価結果を分析して洞察を得る。
この研究は、予測プロセス分析のための説明可能な方法の信頼性の理解に寄与し、人間のユーザ指向評価への基礎的かつ重要なステップとなる。
関連論文リスト
- A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
大規模言語モデル(LLM)における最初の形式的確率的評価フレームワークを紹介する。
モデルの出力分布に関する高い確率保証を持つ新しい指標を導出する。
私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
論文 参考訳(メタデータ) (2024-10-04T15:44:23Z) - Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳(メタデータ) (2023-08-07T18:50:57Z) - Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。
この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
論文 参考訳(メタデータ) (2023-07-06T15:19:53Z) - Model Predictive Control with Gaussian-Process-Supported Dynamical
Constraints for Autonomous Vehicles [82.65261980827594]
本研究では、学習したガウス過程を利用して人間の運転行動を予測する自動運転車のモデル予測制御手法を提案する。
マルチモード予測制御アプローチは、人間のドライバーの意図を考察する。
論文 参考訳(メタデータ) (2023-03-08T17:14:57Z) - An Explainable Decision Support System for Predictive Process Analytics [0.41562334038629595]
本稿では,Shapley Valuesのゲーム理論に基づく説明機能を備えた予測分析フレームワークを提案する。
このフレームワークはIBM Process Miningスイートで実装され、ビジネスユーザ向けに商用化されている。
論文 参考訳(メタデータ) (2022-07-26T09:55:49Z) - Explainability in Process Outcome Prediction: Guidelines to Obtain
Interpretable and Faithful Models [77.34726150561087]
本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。
本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
論文 参考訳(メタデータ) (2022-03-30T05:59:50Z) - Building Interpretable Models for Business Process Prediction using
Shared and Specialised Attention Mechanisms [5.607831842909669]
我々は、解釈可能なモデルを構築することにより、予測プロセス分析における「ブラックボックス」問題に対処する。
本稿では,特定のプロセスイベントが予測に与える影響を捉えるイベントアテンションと,その予測に影響を及ぼすイベントの属性を明らかにする属性アテンションの2つのタイプを提案する。
論文 参考訳(メタデータ) (2021-09-03T10:17:05Z) - Interpreting Process Predictions using a Milestone-Aware Counterfactual
Approach [0.0]
本稿では,予測プロセス分析の文脈において,一般的なモデルに依存しない逆ファクトアルアルゴリズムであるDiCEの利用について検討する。
分析の結果,プロセス予測の導出に際し,アルゴリズムは限定的であることがわかった。
本稿では,足跡の異なる段階における節目対応の反事実の導出を支援する手法を提案する。
論文 参考訳(メタデータ) (2021-07-19T09:14:16Z) - Explainable AI Enabled Inspection of Business Process Prediction Models [2.5229940062544496]
本稿では,モデル説明を用いて,機械学習の予測によって適用された推論を解析する手法を提案する。
本手法の新たな貢献は,解釈可能な機械学習機構によって生成された説明と,過去のプロセス実行を記録するイベントログから抽出された文脈的,あるいはドメイン的知識の両方を活用するモデル検査の提案である。
論文 参考訳(メタデータ) (2021-07-16T06:51:18Z) - Developing a Fidelity Evaluation Approach for Interpretable Machine
Learning [2.2448567386846916]
複雑なモデルの解釈性を改善するために、説明可能なAI(XAI)メソッドが使用される。
特に、ブラックボックスの説明の忠実さを評価するには、さらなる発展が必要である。
本評価は, 基礎となる予測モデルの内部メカニズム, 使用法の内部メカニズム, モデルおよびデータの複雑さが, すべて説明忠実性に影響を与えることを示唆している。
論文 参考訳(メタデータ) (2021-06-16T00:21:16Z) - Counterfactual Predictions under Runtime Confounding [74.90756694584839]
本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。
本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
論文 参考訳(メタデータ) (2020-06-30T15:49:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。