論文の概要: Assessing the Business Process Modeling Competences of Large Language Models

• arxiv url: http://arxiv.org/abs/2601.21787v1
• Date: Thu, 29 Jan 2026 14:34:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.894929
• Title: Assessing the Business Process Modeling Competences of Large Language Models
• Title（参考訳）: 大規模言語モデルのビジネスプロセスモデリング能力の評価
• Authors: Chantale Lauer, Peter Pfeiffer, Alexander Rombach, Nijat Mehdiyev,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語から直接ビジネスプロセスモデルと表記(BPMN)モデルを生成する可能性を大幅に拡大しました。 BEF4LLMは, 構文的品質, 実用的品質, 意味的品質, 妥当性の4点からなる新しい評価フレームワークである。 BEF4LLM を用いて,オープンソース LLM の包括的解析を行い,その性能を人体モデリングの専門家に対してベンチマークする。
• 参考スコア（独自算出の注目度）: 40.495149980011924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The creation of Business Process Model and Notation (BPMN) models is a complex and time-consuming task requiring both domain knowledge and proficiency in modeling conventions. Recent advances in large language models (LLMs) have significantly expanded the possibilities for generating BPMN models directly from natural language, building upon earlier text-to-process methods with enhanced capabilities in handling complex descriptions. However, there is a lack of systematic evaluations of LLM-generated process models. Current efforts either use LLM-as-a-judge approaches or do not consider established dimensions of model quality. To this end, we introduce BEF4LLM, a novel LLM evaluation framework comprising four perspectives: syntactic quality, pragmatic quality, semantic quality, and validity. Using BEF4LLM, we conduct a comprehensive analysis of open-source LLMs and benchmark their performance against human modeling experts. Results indicate that LLMs excel in syntactic and pragmatic quality, while humans outperform in semantic aspects; however, the differences in scores are relatively modest, highlighting LLMs' competitive potential despite challenges in validity and semantic quality. The insights highlight current strengths and limitations of using LLMs for BPMN modeling and guide future model development and fine-tuning. Addressing these areas is essential for advancing the practical deployment of LLMs in business process modeling.
• Abstract（参考訳）: ビジネスプロセスモデルと表記法(BPMN)モデルの作成は、モデリングの慣習においてドメインの知識と熟練度の両方を必要とする複雑で時間を要するタスクです。 大規模言語モデル(LLM)の最近の進歩は、自然言語から直接BPMNモデルを生成する可能性を大幅に拡大し、複雑な記述を扱う能力を強化した初期のテキスト・ツー・プロセス・メソッドを構築した。 しかし、LLM生成プロセスモデルの体系的な評価は欠如している。 現在の取り組みでは、LLM-as-a-judgeアプローチを使うか、あるいはモデル品質の確立した次元を考慮していない。 この目的のために,BEF4LLMは,構文的品質,実用的品質,意味的品質,妥当性の4点からなる新しいLCM評価フレームワークである。 BEF4LLM を用いて,オープンソース LLM の包括的解析を行い,その性能を人体モデリングの専門家に対してベンチマークする。 以上の結果から,LLMは構文的・実用的品質に優れ,人間は意味的側面に優れていたが,スコアの違いは比較的軽度であり,妥当性や意味的品質に課題があるにもかかわらず,LLMの競争可能性を強調した。 この洞察は、BPMNモデリングにLLMを使うことの現在の強みと限界を強調し、将来のモデル開発と微調整をガイドします。 これらの領域に対処することは、ビジネスプロセスモデリングにおけるLLMの実践的な展開を進める上で不可欠である。

関連論文リスト

• Evaluating the Process Modeling Abilities of Large Language Models -- Preliminary Foundations and Results [1.3812010983144802]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらした。 LLMがどの程度優れたプロセスモデルを生成するか、現在議論中である。 我々はこれらの課題を詳細に議論し、これらの課題に科学的に取り組むための将来の実験について議論する。
  論文  参考訳（メタデータ） (2025-03-14T18:52:18Z)
• A Survey on Mechanistic Interpretability for Multi-Modal Foundation Models [74.48084001058672]
  基礎モデルの台頭は機械学習の研究に変化をもたらした。 マルチモーダル・ファンデーション・モデル(MMFM)は、ユニモーダル・フレームワークを超えて、ユニークな解釈可能性の課題を提起する。 本研究は,(1)多モーダルモデルへのLLM解釈可能性法の適応,(2)単モーダル言語モデルとクロスモーダルシステムとの機械的差異の理解の2つの重要な側面について考察する。
  論文  参考訳（メタデータ） (2025-02-22T20:55:26Z)
• Applying Large Language Models in Knowledge Graph-based Enterprise Modeling: Challenges and Opportunities [0.0]
  エンタープライズモデリングにおける大規模言語モデル(LLM)は、最近、学術研究から産業応用へとシフトし始めている。 本稿では,企業モデリングにおける知識グラフに基づくアプローチを採用し,LLMの潜在的なメリットについて検討する。
  論文  参考訳（メタデータ） (2025-01-07T06:34:17Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• LLMs for Mathematical Modeling: Towards Bridging the Gap between Natural and Mathematical Languages [14.04286044600141]
  大規模言語モデル (LLM) は様々な自然言語処理タスクにおいて高い性能を示している。 しかし、数学的推論の習熟度は依然として重要な課題である。 LLMの数学的モデル構築能力を評価するためのプロセス指向フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-21T18:29:54Z)
• Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
  本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。 ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。 LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
  論文  参考訳（メタデータ） (2024-02-29T14:06:34Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。