論文の概要: Process Extraction from Text: Benchmarking the State of the Art and Paving the Way for Future Challenges

• arxiv url: http://arxiv.org/abs/2110.03754v2
• Date: Wed, 25 Oct 2023 11:11:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-28 07:04:34.903236
• Title: Process Extraction from Text: Benchmarking the State of the Art and Paving the Way for Future Challenges
• Title（参考訳）: テキストからのプロセス抽出:最先端のベンチマークと今後の課題への道を開く
• Authors: Patrizio Bellan, Mauro Dragoni, Chiara Ghidini, Han van der Aa, Simone Paolo Ponzetto
• Abstract要約: 既存のソリューションが、モデル抽出問題をどの程度解決できるか、どのように互いに比較できるかは、不明である。 定性的側面と定量的側面の両方を網羅した,モデル抽出のための10の最先端手法を体系的に比較した。 その結果,パフォーマンス面では3つの異なるツール群が示され,優れたスコアと重大な制限が得られなかった。
• 参考スコア（独自算出の注目度）: 18.485565445940175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The extraction of process models from text refers to the problem of turning the information contained in an unstructured textual process descriptions into a formal representation,i.e.,a process model. Several automated approaches have been proposed to tackle this problem, but they are highly heterogeneous in scope and underlying assumptions,i.e., differences in input, target output, and data used in their evaluation.As a result, it is currently unclear how well existing solutions are able to solve the model-extraction problem and how they compare to each other.We overcome this issue by comparing 10 state-of-the-art approaches for model extraction in a systematic manner, covering both qualitative and quantitative aspects.The qualitative evaluation compares the analysis of the primary studies on: 1 the main characteristics of each solution;2 the type of process model elements extracted from the input data;3 the experimental evaluation performed to evaluate the proposed framework.The results show a heterogeneity of techniques, elements extracted and evaluations conducted, that are often impossible to compare.To overcome this difficulty we propose a quantitative comparison of the tools proposed by the papers on the unifying task of process model entity and relation extraction so as to be able to compare them directly.The results show three distinct groups of tools in terms of performance, with no tool obtaining very good scores and also serious limitations.Moreover, the proposed evaluation pipeline can be considered a reference task on a well-defined dataset and metrics that can be used to compare new tools. The paper also presents a reflection on the results of the qualitative and quantitative evaluation on the limitations and challenges that the community needs to address in the future to produce significant advances in this area.
• Abstract（参考訳）: テキストからのプロセスモデルの抽出は、構造化されていないテキストのプロセス記述に含まれる情報を形式表現、すなわちプロセスモデルに変換する問題を指す。 Several automated approaches have been proposed to tackle this problem, but they are highly heterogeneous in scope and underlying assumptions,i.e., differences in input, target output, and data used in their evaluation.As a result, it is currently unclear how well existing solutions are able to solve the model-extraction problem and how they compare to each other.We overcome this issue by comparing 10 state-of-the-art approaches for model extraction in a systematic manner, covering both qualitative and quantitative aspects.The qualitative evaluation compares the analysis of the primary studies on: 1 the main characteristics of each solution;2 the type of process model elements extracted from the input data;3 the experimental evaluation performed to evaluate the proposed framework.The results show a heterogeneity of techniques, elements extracted and evaluations conducted, that are often impossible to compare.To overcome this difficulty we propose a quantitative comparison of the tools proposed by the papers on the unifying task of process model entity and relation extraction so as to be able to compare them directly.The results show three distinct groups of tools in terms of performance, with no tool obtaining very good scores and also serious limitations.Moreover, the proposed evaluation pipeline can be considered a reference task on a well-defined dataset and metrics that can be used to compare new tools. 本稿は,コミュニティが将来,この分野において大きな進歩をもたらすために必要な限界と課題について,質的かつ定量的に評価した結果についても考察する。

関連論文リスト

• Multi-objective Binary Differential Approach with Parameter Tuning for Discovering Business Process Models: MoD-ProM [2.3423913554158653]
  本稿では,プロセス発見のための多目的フレームワークにおけるバイナリ微分進化手法について考察する。 提案手法により生成されたプロセスモデルは、最先端のアルゴリズムで生成されたプロセスよりも優れているか、少なくとも優れていることが示されている。
  論文  参考訳（メタデータ） (2024-06-25T16:53:55Z)
• Integrating supervised and unsupervised learning approaches to unveil critical process inputs [0.16584248697773404]
  本研究では,大規模産業プロセスに適した機械学習フレームワークを提案する。 このフレームワークは、(i)出力に影響を与える臨界パラメータを識別し、(ii)生産結果の正確な質的および定量的な予測を生成することを目的としている。
  論文  参考訳（メタデータ） (2024-05-13T13:50:44Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• A Large-Scale Empirical Study on Improving the Fairness of Image Classification Models [22.522156479335706]
  本稿では,現在ある最先端の公正性向上技術の性能を比較するための,最初の大規模実証的研究を行う。 その結果,各手法の性能は,データセットや属性によって大きく異なることがわかった。 異なる公平度評価指標は、その異なる焦点のために、明らかに異なる評価結果をもたらす。
  論文  参考訳（メタデータ） (2024-01-08T06:53:33Z)
• How to Determine the Most Powerful Pre-trained Language Model without Brute Force Fine-tuning? An Empirical Survey [23.757740341834126]
  その結果,H-Scoreは効率性や効率性に優れることがわかった。 また、トレーニングの詳細、テキスト生成への適用性、今後の方向性に光を当てる特定の指標との整合性といった難しさについても概説する。
  論文  参考訳（メタデータ） (2023-12-08T01:17:28Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
  本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
  論文  参考訳（メタデータ） (2023-02-06T16:55:37Z)
• Operationalizing Specifications, In Addition to Test Sets for Evaluating Constrained Generative Models [17.914521288548844]
  生成モデルのスケールは、評価自体が実行される抽象レベルを高めるために利用することができると論じる。 我々の勧告は、生成品質を評価するための強力な手段として仕様を活用することに基づいている。
  論文  参考訳（メタデータ） (2022-11-19T06:39:43Z)
• Towards Better Understanding Attribution Methods [77.1487219861185]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
  論文  参考訳（メタデータ） (2022-05-20T20:50:17Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。