論文の概要: Measuring the Stability of Process Outcome Predictions in Online Settings

• arxiv url: http://arxiv.org/abs/2310.09000v1
• Date: Fri, 13 Oct 2023 10:37:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 13:21:23.539933
• Title: Measuring the Stability of Process Outcome Predictions in Online Settings
• Title（参考訳）: オンライン環境におけるプロセス結果予測の安定性の測定
• Authors: Suhwan Lee, Marco Comuzzi, Xixi Lu, Hajo A. Reijers
• Abstract要約: 本稿では,オンライン予測プロセス監視のためのモデルの安定性を評価するための評価フレームワークを提案する。 このフレームワークは、4つのパフォーマンスメタ尺度を導入している。性能低下の頻度、その大きさ、回復率、パフォーマンスのボラティリティである。 その結果,これらのメタ尺度は,異なるリスクテイクシナリオに対する予測モデルの比較と選択を容易にすることが示された。
• 参考スコア（独自算出の注目度）: 4.599862571197789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predictive Process Monitoring aims to forecast the future progress of process instances using historical event data. As predictive process monitoring is increasingly applied in online settings to enable timely interventions, evaluating the performance of the underlying models becomes crucial for ensuring their consistency and reliability over time. This is especially important in high risk business scenarios where incorrect predictions may have severe consequences. However, predictive models are currently usually evaluated using a single, aggregated value or a time-series visualization, which makes it challenging to assess their performance and, specifically, their stability over time. This paper proposes an evaluation framework for assessing the stability of models for online predictive process monitoring. The framework introduces four performance meta-measures: the frequency of significant performance drops, the magnitude of such drops, the recovery rate, and the volatility of performance. To validate this framework, we applied it to two artificial and two real-world event logs. The results demonstrate that these meta-measures facilitate the comparison and selection of predictive models for different risk-taking scenarios. Such insights are of particular value to enhance decision-making in dynamic business environments.
• Abstract（参考訳）: 予測プロセス監視は、履歴イベントデータを使用してプロセスインスタンスの将来進捗を予測することを目的としている。 タイムリーな介入を可能にするために、予測プロセス監視がオンライン環境にますます適用されるにつれて、基盤となるモデルの性能を評価することは、時間の経過とともに一貫性と信頼性を確保する上で重要である。 これは、誤った予測が重大な結果をもたらす可能性のあるリスクの高いビジネスシナリオにおいて特に重要である。 しかしながら、予測モデルは、通常、単一の集約値または時系列の可視化を使用して評価されるため、その性能、特に時間とともに安定性を評価するのが困難である。 本稿では,オンライン予測プロセス監視のためのモデルの安定性を評価するための評価フレームワークを提案する。 このフレームワークは、4つのパフォーマンスメタ尺度を導入している。性能低下の頻度、その大きさ、回復率、パフォーマンスのボラティリティである。 このフレームワークを検証するために、2つの人工ログと2つの実世界のイベントログに適用しました。 その結果,これらのメタ測定は,異なるリスクテイクシナリオに対する予測モデルの比較と選択を容易にすることがわかった。 このような洞察は、動的なビジネス環境における意思決定を強化するために特に価値があります。

関連論文リスト

• Rating Multi-Modal Time-Series Forecasting Models (MM-TSFM) for Robustness Through a Causal Lens [10.103561529332184]
  ノイズや不正なデータによる不正確さが誤った予測につながるような,マルチモーダルな時系列予測に重点を置いている。 本稿では,マルチモーダル時系列予測モデルのロバスト性を評価するための評価手法を提案する。
  論文  参考訳（メタデータ） (2024-06-12T17:39:16Z)
• Loss Shaping Constraints for Long-Term Time Series Forecasting [79.3533114027664]
  本稿では,長期時系列予測のための制約付き学習手法を提案する。 提案手法は, 予測ウィンドウ上でエラーを発生させながら, 時系列ベンチマークにおける競合平均性能を示すことを示すための, 実用的なプリマル・デュアルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:20:44Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Prediction of rare events in the operation of household equipment using co-evolving time series [1.1249583407496218]
  我々のアプローチは、データの時間的挙動を利用して予測能力を向上する重み付き自己回帰モデルである。 合成および実世界のデータセットの評価は、我々の手法が家庭機器の故障予測手法よりも優れていることを裏付けている。
  論文  参考訳（メタデータ） (2023-12-15T00:21:00Z)
• Performative Time-Series Forecasting [71.18553214204978]
  我々は,機械学習の観点から,パフォーマンス時系列予測(PeTS)を定式化する。 本稿では,予測分布シフトに対する遅延応答の概念を活用する新しい手法であるFeature Performative-Shifting(FPS)を提案する。 新型コロナウイルスの複数の時系列モデルと交通予報タスクを用いた総合的な実験を行った。
  論文  参考訳（メタデータ） (2023-10-09T18:34:29Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• Learning Interpretable Deep State Space Model for Probabilistic Time Series Forecasting [98.57851612518758]
  確率的時系列予測は、その歴史に基づいて将来の分布を推定する。 本稿では,非線形エミッションモデルと遷移モデルとをネットワークによってパラメータ化した,確率的時系列予測のための深部状態空間モデルを提案する。 実験では,我々のモデルが正確かつ鋭い確率予測を生成することを示す。
  論文  参考訳（メタデータ） (2021-01-31T06:49:33Z)
• Learning Prediction Intervals for Model Performance [1.433758865948252]
  モデル性能の予測間隔を計算する手法を提案する。 我々は,幅広いドリフト条件におけるアプローチを評価し,競合ベースラインよりも大幅に改善することを示す。
  論文  参考訳（メタデータ） (2020-12-15T21:32:03Z)
• Model updating after interventions paradoxically introduces bias [2.089458396525051]
  最近の議論は、二進的な結果に対する予測スコアの更新における潜在的な問題を浮き彫りにした。 この設定では、既存のスコアは、元のスコアが置き換えられたときに誤校正につながる追加の因果経路を誘導する。 本稿では,この問題を記述・解決するための一般的な因果的枠組みを提案し,部分的に観察されたマルコフ決定過程として等価な定式化を実証する。
  論文  参考訳（メタデータ） (2020-10-22T08:43:29Z)
• Modeling Online Behavior in Recommender Systems: The Importance of Temporal Context [30.894950420437926]
  推薦システムの性能を評価するときの時間的文脈の省略が、いかに誤った自信をもたらすかを示す。 既存のモデルに時間的文脈をさらに埋め込むためのトレーニング手順を提案する。 その結果、時間的目標を含めれば、リコール@20を最大20%改善できることがわかった。
  論文  参考訳（メタデータ） (2020-09-19T19:36:43Z)
• Counterfactual Predictions under Runtime Confounding [74.90756694584839]
  本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。 本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
  論文  参考訳（メタデータ） (2020-06-30T15:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。