論文の概要: A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text using Large Language Models
- arxiv url: http://arxiv.org/abs/2407.18540v1
- Date: Fri, 26 Jul 2024 06:39:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-29 14:10:09.974880
- Title: A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text using Large Language Models
- Title（参考訳）: 大規模言語モデルを用いた自然言語テキストからのプロセスモデル情報抽出のための普遍的プロンプト戦略
- Authors: Julian Neuberger, Lars Ackermann, Han van der Aa, Stefan Jablonski,
- Abstract要約: 生成型大規模言語モデル(LLM)は,広範囲なデータを必要とすることなく,非常に高品質なNLPタスクを解くことができることを示す。
新たなプロンプト戦略に基づいて,LLMが最先端の機械学習手法より優れていることを示す。
- 参考スコア（独自算出の注目度）: 0.8899670429041453
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Over the past decade, extensive research efforts have been dedicated to the extraction of information from textual process descriptions. Despite the remarkable progress witnessed in natural language processing (NLP), information extraction within the Business Process Management domain remains predominantly reliant on rule-based systems and machine learning methodologies. Data scarcity has so far prevented the successful application of deep learning techniques. However, the rapid progress in generative large language models (LLMs) makes it possible to solve many NLP tasks with very high quality without the need for extensive data. Therefore, we systematically investigate the potential of LLMs for extracting information from textual process descriptions, targeting the detection of process elements such as activities and actors, and relations between them. Using a heuristic algorithm, we demonstrate the suitability of the extracted information for process model generation. Based on a novel prompting strategy, we show that LLMs are able to outperform state-of-the-art machine learning approaches with absolute performance improvements of up to 8\% $F_1$ score across three different datasets. We evaluate our prompting strategy on eight different LLMs, showing it is universally applicable, while also analyzing the impact of certain prompt parts on extraction quality. The number of example texts, the specificity of definitions, and the rigour of format instructions are identified as key for improving the accuracy of extracted information. Our code, prompts, and data are publicly available.
- Abstract（参考訳）: 過去10年間に渡り、テキストのプロセス記述から情報を抽出する研究が盛んに行われてきた。
自然言語処理(NLP)における顕著な進歩にもかかわらず、ビジネスプロセス管理ドメイン内の情報抽出は、ルールベースのシステムや機械学習の方法論に大きく依存している。
データ不足は、ディープラーニング技術の適用を成功させるのを妨げてきた。
しかし、生成型大規模言語モデル(LLM)の急速な進歩により、広範囲なデータを必要とすることなく、非常に高い品質で多くのNLPタスクを解くことができる。
そこで本研究では,テキストプロセス記述から情報を抽出し,アクティビティやアクターなどのプロセス要素の検出を対象とし,それらの関連性について検討する。
ヒューリスティックアルゴリズムを用いて,プロセスモデル生成のための抽出した情報の適合性を実証する。
新たなプロンプト戦略に基づいて、LLMは最先端の機械学習アプローチよりも高いパフォーマンスで、最大8\%のF_1$スコアを3つの異なるデータセットで実現可能であることを示す。
我々は,8種類のLDM上でのプロンプト戦略を評価するとともに,特定のプロンプト部品が抽出品質に与える影響を解析した。
抽出された情報の精度を向上させる鍵として、サンプルテキストの数、定義の特異性、フォーマット命令の厳密さを識別する。
私たちのコード、プロンプト、データは公開されています。
関連論文リスト
- NLP4PBM: A Systematic Review on Process Extraction using Natural Language Processing with Rule-based, Machine and Deep Learning Methods [0.0]
本稿では,自然言語処理(NLP)を用いたテキスト記述の構造化プロセスへの変換という,自動プロセス抽出の分野を概観する。
機械学習 (ML) / ディープラーニング (DL) メソッドが NLP コンポーネントにますます利用されていることが分かりました。
いくつかのケースでは、プロセス抽出に対する適合性から選択され、その結果、古典的なルールベースの手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-09-10T15:16:02Z) - Leveraging Large Language Models for Web Scraping [0.0]
本研究では,言語生成用に設計したRAGモデルに対して,汎用的な高精度なデータスクレイピング手法について検討する。
よりモジュール的で解釈可能な方法で知識をキャプチャするために、私たちは、潜在的な知識検索機能を備えた事前訓練された言語モデルを使用します。
論文 参考訳（メタデータ） (2024-06-12T14:15:15Z) - Leveraging Data Augmentation for Process Information Extraction [0.0]
自然言語テキストデータに対するデータ拡張の適用について検討する。
データ拡張は、自然言語テキストからビジネスプロセスモデルを生成するタスクのための機械学習メソッドを実現する上で重要なコンポーネントである。
論文 参考訳（メタデータ） (2024-04-11T06:32:03Z) - TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。
本手法は,様々なベンチマーク上での局所モデル性能を向上させる。
また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
論文 参考訳（メタデータ） (2024-03-15T14:36:38Z) - C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。
各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-02-17T11:28:08Z) - Surveying the Landscape of Text Summarization with Deep Learning: A
Comprehensive Review [2.4185510826808487]
ディープラーニングは、言語データの複雑な表現を学習できるモデルの開発を可能にすることによって、自然言語処理(NLP)に革命をもたらした。
NLPのディープラーニングモデルは、通常、大量のデータを使用してディープニューラルネットワークをトレーニングし、言語データ内のパターンと関係を学習する。
テキスト要約にディープラーニングを適用することは、テキスト要約タスクを実行するためにディープニューラルネットワークを使用することを指す。
論文 参考訳（メタデータ） (2023-10-13T21:24:37Z) - Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。
これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。
結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文 参考訳（メタデータ） (2023-06-25T02:39:19Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-05-24T10:08:04Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳（メタデータ） (2023-01-27T18:59:01Z) - Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。
本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
論文 参考訳（メタデータ） (2021-08-24T09:39:35Z) - Knowledge-Aware Procedural Text Understanding with Multi-Stage Training [110.93934567725826]
本稿では,このような文書の理解とプロセス中のエンティティの状態や場所の追跡を目的とした手続き的テキスト理解の課題に焦点をあてる。
常識的推論の難しさとデータ不足という2つの課題はまだ未解決のままである。
我々は、複数の外部知識を効果的に活用する、KnOwledge-Aware ProceduraL text understAnding (KOALA)モデルを提案する。
論文 参考訳（メタデータ） (2020-09-28T10:28:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。