論文の概要: Evaluating the Ability of LLMs to Solve Semantics-Aware Process Mining Tasks
- arxiv url: http://arxiv.org/abs/2407.02310v1
- Date: Tue, 2 Jul 2024 14:44:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 15:06:12.762256
- Title: Evaluating the Ability of LLMs to Solve Semantics-Aware Process Mining Tasks
- Title（参考訳）: LLMによる意味論的プロセスマイニング課題の解決能力の評価
- Authors: Adrian Rebmann, Fabian David Schmidt, Goran Glavaš, Han van der Aa,
- Abstract要約: 大規模言語モデル(LLM)は、プロセスの振る舞いを理解することの恩恵を受けるプロセスマイニングタスクに取り組むために使用できる。
本稿では,LLMがプロセスマイニングタスクに対処する能力について検討する。
- 参考スコア（独自算出の注目度）: 3.9273545629281252
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The process mining community has recently recognized the potential of large language models (LLMs) for tackling various process mining tasks. Initial studies report the capability of LLMs to support process analysis and even, to some extent, that they are able to reason about how processes work. This latter property suggests that LLMs could also be used to tackle process mining tasks that benefit from an understanding of process behavior. Examples of such tasks include (semantic) anomaly detection and next activity prediction, which both involve considerations of the meaning of activities and their inter-relations. In this paper, we investigate the capabilities of LLMs to tackle such semantics-aware process mining tasks. Furthermore, whereas most works on the intersection of LLMs and process mining only focus on testing these models out of the box, we provide a more principled investigation of the utility of LLMs for process mining, including their ability to obtain process mining knowledge post-hoc by means of in-context learning and supervised fine-tuning. Concretely, we define three process mining tasks that benefit from an understanding of process semantics and provide extensive benchmarking datasets for each of them. Our evaluation experiments reveal that (1) LLMs fail to solve challenging process mining tasks out of the box and when provided only a handful of in-context examples, (2) but they yield strong performance when fine-tuned for these tasks, consistently surpassing smaller, encoder-based language models.
- Abstract（参考訳）: プロセスマイニングコミュニティは最近、様々なプロセスマイニングタスクに取り組むための大規模言語モデル(LLM)の可能性を認識している。
最初の研究は、LCMがプロセス分析をサポートする能力、さらにはある程度は、プロセスがどのように機能するかを推論することができることを報告した。
この後者の特性は、LCMがプロセスの振る舞いを理解することの恩恵を受けるプロセスマイニングタスクに取り組むのにも使えることを示唆している。
そのようなタスクの例としては、(セマンティック)異常検出と次のアクティビティ予測があり、どちらも活動の意味とそれらの相互関係について考慮する。
本稿では,LLMがプロセスマイニングタスクに対処する能力について検討する。
さらに, LLMとプロセスマイニングの交わりに関する研究の多くは, これらのモデルを最初からテストすることのみに重点を置いているが, 本研究は, プロセスマイニングにおける LLMs の有用性について, 文脈内学習と教師付き微調整によるプロセスマイニング後の知識の獲得など, より原理的な調査を行っている。
具体的には、プロセスセマンティクスの理解から恩恵を受ける3つのプロセスマイニングタスクを定義し、それぞれに広範なベンチマークデータセットを提供する。
評価実験の結果,(1) LLM はプロセスマイニングの難解なタスクを最初から解決できず,(2) 少数の実例しか提供していないが,より小型のエンコーダベースの言語モデルに一貫して超越して,これらのタスクを微調整すると高い性能が得られることがわかった。
関連論文リスト
- PM-LLM-Benchmark: Evaluating Large Language Models on Process Mining Tasks [45.129578769739]
大規模言語モデル(LLM)は、プロセスマイニング(PM)分析を半自動化する可能性がある。
ドメイン知識に着目したPMの総合ベンチマークであるPM-LLM-Benchmarkを提案する。
検討対象のLLMのほとんどは, 良好なレベルでプロセスマイニング作業を行うことができるが, エッジデバイス上で実行される小さなモデルはまだ不十分である。
論文 参考訳（メタデータ） (2024-07-18T07:57:31Z) - Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。
LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。
本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
論文 参考訳（メタデータ） (2024-06-20T13:08:09Z) - Towards a Benchmark for Causal Business Process Reasoning with LLMs [2.273531916003657]
大きな言語モデル(LLM)は、組織の効率向上やタスクの自動化にますます使われています。
近年の取り組みは、推論、計画、意思決定といった活動にLLMを採用するよう拡張されている。
本研究は, LLMの因果的・プロセス的視点を推論する能力を評価するため, ベンチマーク開発のための種子を植え付けるものである。
論文 参考訳（メタデータ） (2024-06-08T16:10:53Z) - C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。
各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-02-17T11:28:08Z) - When does In-context Learning Fall Short and Why? A Study on
Specification-Heavy Tasks [54.71034943526973]
In-context Learning (ICL)は、大規模言語モデル(LLM)のデフォルトメソッドとなっている。
ICLは、複雑で広範囲なタスク仕様を持つタスクである、仕様の重いタスクを処理できないことが分かりました。
我々は、コンテキストを具体的に理解できないこと、タスクスキーマが人間と理解できないこと、長文理解が不十分であること、の3つの主な理由を識別する。
論文 参考訳（メタデータ） (2023-11-15T14:26:30Z) - Assessing Logical Puzzle Solving in Large Language Models: Insights from a Minesweeper Case Study [10.95835611110119]
我々は、Large Language Models (LLM) になじみのないフォーマットで設計された新しいタスク、Minesweeperを導入する。
このタスクは、隣接するオープンセルが提供する数値的な手がかりに基づいて、LLMが鉱山の位置を特定することを課題とする。
我々の実験は、先進的な GPT-4 モデルによる試行を含むもので、LLM は、この課題に必要な基礎的能力を持っているが、Minesweeper を解くために必要な一貫性のある多段階論理的推論プロセスにこれらを統合するのに苦労していることを示している。
論文 参考訳（メタデータ） (2023-11-13T15:11:26Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳（メタデータ） (2023-10-10T16:38:49Z) - Large Language Models can accomplish Business Process Management Tasks [0.0]
大規模言語モデル(LLM)がテキスト関連ビジネスプロセス管理タスクをどのように達成できるかを示す。
LLMは、テキスト記述からプロセスモデルを達成し、テキスト記述から宣言的プロセスモデルをマイニングし、ロボットプロセス自動化のためのテキスト記述からプロセスタスクの適合性を評価する。
論文 参考訳（メタデータ） (2023-07-19T11:54:46Z) - Chit-Chat or Deep Talk: Prompt Engineering for Process Mining [0.0]
本研究では,Large Language Models (LLMs) のプロセスマイニングにおける会話エージェント強化への応用について検討する。
本稿では,対話型エージェントを対象とした自然言語処理(NLP)の先行研究により,既存のソリューションにおける多くの問題を解決する革新的なアプローチを提案する。
我々のフレームワークは、公開質問やデータセットで実証されたように、アクセシビリティとエージェントのパフォーマンスの両方を改善します。
論文 参考訳（メタデータ） (2023-07-19T11:25:12Z) - Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。
具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。
ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
論文 参考訳（メタデータ） (2023-05-22T13:18:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。