Fugu-MT 論文翻訳(概要): Evaluating the Ability of LLMs to Solve Semantics-Aware Process Mining Tasks

論文の概要: Evaluating the Ability of LLMs to Solve Semantics-Aware Process Mining Tasks

arxiv url: http://arxiv.org/abs/2407.02310v1
Date: Tue, 2 Jul 2024 14:44:49 GMT
ステータス: 処理完了
システム内更新日: 2024-07-03 15:06:12.762256
Title: Evaluating the Ability of LLMs to Solve Semantics-Aware Process Mining Tasks
Title（参考訳）: LLMによる意味論的プロセスマイニング課題の解決能力の評価
Authors: Adrian Rebmann, Fabian David Schmidt, Goran Glavaš, Han van der Aa,
Abstract要約: 大規模言語モデル(LLM)は、プロセスの振る舞いを理解することの恩恵を受けるプロセスマイニングタスクに取り組むために使用できる。本稿では,LLMがプロセスマイニングタスクに対処する能力について検討する。
参考スコア（独自算出の注目度）: 3.9273545629281252
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The process mining community has recently recognized the potential of large language models (LLMs) for tackling various process mining tasks. Initial studies report the capability of LLMs to support process analysis and even, to some extent, that they are able to reason about how processes work. This latter property suggests that LLMs could also be used to tackle process mining tasks that benefit from an understanding of process behavior. Examples of such tasks include (semantic) anomaly detection and next activity prediction, which both involve considerations of the meaning of activities and their inter-relations. In this paper, we investigate the capabilities of LLMs to tackle such semantics-aware process mining tasks. Furthermore, whereas most works on the intersection of LLMs and process mining only focus on testing these models out of the box, we provide a more principled investigation of the utility of LLMs for process mining, including their ability to obtain process mining knowledge post-hoc by means of in-context learning and supervised fine-tuning. Concretely, we define three process mining tasks that benefit from an understanding of process semantics and provide extensive benchmarking datasets for each of them. Our evaluation experiments reveal that (1) LLMs fail to solve challenging process mining tasks out of the box and when provided only a handful of in-context examples, (2) but they yield strong performance when fine-tuned for these tasks, consistently surpassing smaller, encoder-based language models.
Abstract（参考訳）: プロセスマイニングコミュニティは最近、様々なプロセスマイニングタスクに取り組むための大規模言語モデル(LLM)の可能性を認識している。最初の研究は、LCMがプロセス分析をサポートする能力、さらにはある程度は、プロセスがどのように機能するかを推論することができることを報告した。この後者の特性は、LCMがプロセスの振る舞いを理解することの恩恵を受けるプロセスマイニングタスクに取り組むのにも使えることを示唆している。そのようなタスクの例としては、(セマンティック)異常検出と次のアクティビティ予測があり、どちらも活動の意味とそれらの相互関係について考慮する。本稿では,LLMがプロセスマイニングタスクに対処する能力について検討する。さらに, LLMとプロセスマイニングの交わりに関する研究の多くは, これらのモデルを最初からテストすることのみに重点を置いているが, 本研究は, プロセスマイニングにおける LLMs の有用性について, 文脈内学習と教師付き微調整によるプロセスマイニング後の知識の獲得など, より原理的な調査を行っている。具体的には、プロセスセマンティクスの理解から恩恵を受ける3つのプロセスマイニングタスクを定義し、それぞれに広範なベンチマークデータセットを提供する。評価実験の結果,(1) LLM はプロセスマイニングの難解なタスクを最初から解決できず,(2) 少数の実例しか提供していないが,より小型のエンコーダベースの言語モデルに一貫して超越して,これらのタスクを微調整すると高い性能が得られることがわかった。

関連論文リスト

EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文参考訳（メタデータ） (2024-10-08T17:54:03Z)
Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。本研究では,LLMが計算を行う特定のメカニズムを明らかにする。 LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
論文参考訳（メタデータ） (2024-09-03T07:01:46Z)
Re-Thinking Process Mining in the AI-Based Agents Era [39.58317527488534]
大規模言語モデル(LLM)は強力な対話インタフェースとして登場し、プロセスマイニング(PM)タスクにおけるその応用は有望な結果を示している。本稿では,LLMにおけるPMの有効性を高めるために,AIベースのエージェント(AgWf)パラダイムを活用することを提案する。我々はAgWfの様々な実装とAIベースのタスクの種類について検討する。
論文参考訳（メタデータ） (2024-08-14T10:14:18Z)
PM-LLM-Benchmark: Evaluating Large Language Models on Process Mining Tasks [45.129578769739]
大規模言語モデル(LLM)は、プロセスマイニング(PM)分析を半自動化する可能性がある。ドメイン知識に着目したPMの総合ベンチマークであるPM-LLM-Benchmarkを提案する。検討対象のLLMのほとんどは, 良好なレベルでプロセスマイニング作業を行うことができるが, エッジデバイス上で実行される小さなモデルはまだ不十分である。
論文参考訳（メタデータ） (2024-07-18T07:57:31Z)
Towards a Benchmark for Causal Business Process Reasoning with LLMs [2.273531916003657]
大きな言語モデル(LLM)は、組織の効率向上やタスクの自動化にますます使われています。近年の取り組みは、推論、計画、意思決定といった活動にLLMを採用するよう拡張されている。本研究は, LLMの因果的・プロセス的視点を推論する能力を評価するため, ベンチマーク開発のための種子を植え付けるものである。
論文参考訳（メタデータ） (2024-06-08T16:10:53Z)
C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-02-17T11:28:08Z)
TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
論文参考訳（メタデータ） (2023-11-30T18:02:44Z)
When does In-context Learning Fall Short and Why? A Study on Specification-Heavy Tasks [54.71034943526973]
In-context Learning (ICL)は、大規模言語モデル(LLM)のデフォルトメソッドとなっている。 ICLは、複雑で広範囲なタスク仕様を持つタスクである、仕様の重いタスクを処理できないことが分かりました。我々は、コンテキストを具体的に理解できないこと、タスクスキーマが人間と理解できないこと、長文理解が不十分であること、の3つの主な理由を識別する。
論文参考訳（メタデータ） (2023-11-15T14:26:30Z)
Assessing Logical Puzzle Solving in Large Language Models: Insights from a Minesweeper Case Study [10.95835611110119]
我々は、Large Language Models (LLM) になじみのないフォーマットで設計された新しいタスク、Minesweeperを導入する。このタスクは、隣接するオープンセルが提供する数値的な手がかりに基づいて、LLMが鉱山の位置を特定することを課題とする。我々の実験は、先進的な GPT-4 モデルによる試行を含むもので、LLM は、この課題に必要な基礎的能力を持っているが、Minesweeper を解くために必要な一貫性のある多段階論理的推論プロセスにこれらを統合するのに苦労していることを示している。
論文参考訳（メタデータ） (2023-11-13T15:11:26Z)
TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文参考訳（メタデータ） (2023-10-10T16:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。