論文の概要: Rethinking BPS: A Utility-Based Evaluation Framework

• arxiv url: http://arxiv.org/abs/2505.22316v1
• Date: Wed, 28 May 2025 13:00:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.610917
• Title: Rethinking BPS: A Utility-Based Evaluation Framework
• Title（参考訳）: BPSを再考する: ユーティリティベースの評価フレームワーク
• Authors: Konrad Özdemir, Lukas Kirchdorfer, Keyvan Amiri Elyasi, Han van der Aa, Heiner Stuckenschmidt,
• Abstract要約: BPSモデルを評価するための最先端のアプローチには2つの重要な制限がある。 シミュレーションを予測問題として扱い、モデルが目に見えない未来の事象を予測できるかどうかをテストする。 代表的なプロセスの振る舞いを生成する能力に基づいて,シミュレーション品質を評価する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.590869939300887
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Business process simulation (BPS) is a key tool for analyzing and optimizing organizational workflows, supporting decision-making by estimating the impact of process changes. The reliability of such estimates depends on the ability of a BPS model to accurately mimic the process under analysis, making rigorous accuracy evaluation essential. However, the state-of-the-art approach to evaluating BPS models has two key limitations. First, it treats simulation as a forecasting problem, testing whether models can predict unseen future events. This fails to assess how well a model captures the as-is process, particularly when process behavior changes from train to test period. Thus, it becomes difficult to determine whether poor results stem from an inaccurate model or the inherent complexity of the data, such as unpredictable drift. Second, the evaluation approach strongly relies on Earth Mover's Distance-based metrics, which can obscure temporal patterns and thus yield misleading conclusions about simulation quality. To address these issues, we propose a novel framework that evaluates simulation quality based on its ability to generate representative process behavior. Instead of comparing simulated logs to future real-world executions, we evaluate whether predictive process monitoring models trained on simulated data perform comparably to those trained on real data for downstream analysis tasks. Empirical results show that our framework not only helps identify sources of discrepancies but also distinguishes between model accuracy and data complexity, offering a more meaningful way to assess BPS quality.
• Abstract（参考訳）: ビジネスプロセスシミュレーション(BPS)は、組織ワークフローを分析し最適化するための重要なツールであり、プロセスの変更の影響を見積もることで意思決定をサポートする。 このような推定の信頼性は、分析中のプロセスを正確に模倣するBPSモデルの能力に依存するため、厳密な精度評価が不可欠である。 しかしながら、BPSモデルを評価するための最先端のアプローチには2つの重要な制限がある。 まず、シミュレーションを予測問題として扱い、モデルが目に見えない未来の事象を予測できるかどうかをテストする。 これは、モデルがas-isプロセス、特にプロセスの振る舞いが列車からテスト期間に変化するとき、どれだけうまくキャプチャするかを評価するのに失敗する。 したがって、不正確な結果が不正確なモデルによるものなのか、予測不能なドリフトのようなデータ固有の複雑さによるものなのかを判断することは困難である。 第二に、評価手法はアース・モーバーの距離に基づく測度に強く依存しており、これは時間的パターンを曖昧にし、シミュレーションの品質について誤解を招く結果をもたらす。 これらの課題に対処するために,プロセスの代表的な振る舞いを生成する能力に基づいて,シミュレーション品質を評価する新しいフレームワークを提案する。 シミュレーションされたログと将来の実世界の実行を比較する代わりに、シミュレーションされたデータに基づいてトレーニングされた予測プロセスモニタリングモデルが、下流分析タスクのために実データでトレーニングされたものと同等に機能するかどうかを評価する。 実験の結果、我々のフレームワークは相違点の情報源を特定するだけでなく、モデルの精度とデータの複雑さを区別し、BPSの品質を評価するためのより有意義な方法を提供することがわかった。

関連論文リスト

• A Divide-and-Conquer Approach for Modeling Arrival Times in Business Process Simulation [6.590869939300887]
  ビジネスプロセスシミュレーション(Business Process Simulation, BPS)は、組織プロセスを分析し改善するための重要なツールである。 Case-arrivalモデルは、プロセスへの新しいケースエントリのパターンを決定する。 既存のアプローチはしばしば、地域間時間の過度に単純化された静的分布に依存している。
  論文  参考訳（メタデータ） (2025-05-28T14:09:51Z)
• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• Predictive Analytics of Varieties of Potatoes [2.336821989135698]
  本研究では, 育種試験におけるサツマイモクローンの選択プロセスの向上を目的とした, 機械学習アルゴリズムの適用について検討する。 本研究は, 高収率, 耐病性, 耐気候性ポテト品種を効率的に同定することの課題に対処する。
  論文  参考訳（メタデータ） (2024-04-04T00:49:05Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Can I Trust My Simulation Model? Measuring the Quality of Business Process Simulation Models [1.4027589547318842]
  ビジネスプロセスシミュレーション(Business Process Simulation、BPS)は、異なるシナリオ下でのビジネスプロセスのパフォーマンスを分析する手法である。 本稿では,BPSモデルの品質を評価するための尺度の集合を提案する。
  論文  参考訳（メタデータ） (2023-03-30T15:40:26Z)
• Rigorous Assessment of Model Inference Accuracy using Language Cardinality [5.584832154027001]
  我々は,統計的推定を決定論的精度尺度に置き換えることで,モデル精度評価におけるバイアスと不確実性を最小化する体系的アプローチを開発する。 我々は、最先端の推論ツールによって推定されるモデルの精度を評価することによって、我々のアプローチの一貫性と適用性を実験的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T21:03:26Z)
• Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
  本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。 本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。 提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-10-19T14:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。