論文の概要: Human Evaluation of Procedural Knowledge Graph Extraction from Text with Large Language Models

• arxiv url: http://arxiv.org/abs/2412.03589v1
• Date: Wed, 27 Nov 2024 10:36:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-08 08:17:58.123153
• Title: Human Evaluation of Procedural Knowledge Graph Extraction from Text with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたテキストからの手続き的知識グラフ抽出の人間による評価
• Authors: Valentina Anita Carriero, Antonia Azzini, Ilaria Baroni, Mario Scrocca, Irene Celino,
• Abstract要約: 我々は,Large Language Model (LLM) の機能を活用し,ステップ,アクション,オブジェクト,機器,時間情報を抽出するための迅速な工学的アプローチを提案する。 LLM抽出した手続き的知識の質と有用性を質的に定量的に評価するために,ユーザスタディを用いてKG抽出結果を評価した。
• 参考スコア（独自算出の注目度）: 0.17476232824732776
• License:
• Abstract: Procedural Knowledge is the know-how expressed in the form of sequences of steps needed to perform some tasks. Procedures are usually described by means of natural language texts, such as recipes or maintenance manuals, possibly spread across different documents and systems, and their interpretation and subsequent execution is often left to the reader. Representing such procedures in a Knowledge Graph (KG) can be the basis to build digital tools to support those users who need to apply or execute them. In this paper, we leverage Large Language Model (LLM) capabilities and propose a prompt engineering approach to extract steps, actions, objects, equipment and temporal information from a textual procedure, in order to populate a Procedural KG according to a pre-defined ontology. We evaluate the KG extraction results by means of a user study, in order to qualitatively and quantitatively assess the perceived quality and usefulness of the LLM-extracted procedural knowledge. We show that LLMs can produce outputs of acceptable quality and we assess the subjective perception of AI by human evaluators.
• Abstract（参考訳）: 手続き的知識(Procedural Knowledge)は、いくつかのタスクを実行するために必要なステップのシーケンスの形式で表現されたノウハウである。 手順は通常、レシピやメンテナンスマニュアルのような自然言語のテキストによって記述され、おそらく異なる文書やシステムに分散し、解釈とその後の実行はしばしば読者に委ねられる。 このような手順を知識グラフ(KG)で表現することは、それらの適用や実行が必要なユーザをサポートするためのデジタルツールを構築するための基盤となる。 本稿では,Large Language Model (LLM) の機能を活用し,文書の手順からステップ,アクション,オブジェクト,機器,時間情報を抽出し,事前に定義されたオントロジーに従って手続きKGを投入する手法を提案する。 LLM抽出した手続き的知識の質と有用性を質的に定量的に評価するために,ユーザスタディを用いてKG抽出結果を評価した。 我々は,LLMが許容品質の出力を生成できることを示し,人間の評価者によるAIの主観的知覚を評価する。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents [61.41316121093604]
  対話型質問応答(CQA)の文脈における大規模言語モデル(LLM)を評価するための新しいベンチマークであるInsCoQAを提案する。 InsCoQAは、百科事典スタイルの教育内容から派生したもので、複数の文書から手続き的ガイダンスを抽出し、解釈し、正確に要約する能力のモデルを評価する。 また,LLM支援型評価器であるInsEvalを提案する。
  論文  参考訳（メタデータ） (2024-10-01T09:10:00Z)
• NLP4PBM: A Systematic Review on Process Extraction using Natural Language Processing with Rule-based, Machine and Deep Learning Methods [0.0]
  本稿では,自然言語処理(NLP)を用いたテキスト記述の構造化プロセスへの変換という,自動プロセス抽出の分野を概観する。 機械学習 (ML) / ディープラーニング (DL) メソッドが NLP コンポーネントにますます利用されていることが分かりました。 いくつかのケースでは、プロセス抽出に対する適合性から選択され、その結果、古典的なルールベースの手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-10T15:16:02Z)
• A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text using Large Language Models [0.8899670429041453]
  生成型大規模言語モデル(LLM)は,広範囲なデータを必要とすることなく,非常に高品質なNLPタスクを解くことができることを示す。 新たなプロンプト戦略に基づいて,LLMが最先端の機械学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-26T06:39:35Z)
• Evaluation of Instruction-Following Ability for Large Language Models on Story-Ending Generation [2.4889060833127665]
  本稿では,大規模言語モデル(LLM)の物語生成の文脈における指示追従能力の評価に焦点をあてる。 本稿では,機械読影理解モデル(MRC)を用いた自動評価パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-24T06:53:36Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.82812214830023]
  効率的なプロンプティング手法は幅広い注目を集めている。 本稿では,異なるプロンプト成分に対する自動プロンプトエンジニアリングと連続空間および離散空間におけるプロンプト圧縮について論じる。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• From human experts to machines: An LLM supported approach to ontology and knowledge graph construction [0.0]
  大規模言語モデル(LLM)は、人間のような自然言語を理解し、生成する能力で最近人気を集めている。 本研究は,オープンソースLLMによって促進されるKGの半自動構築について考察する。
  論文  参考訳（メタデータ） (2024-03-13T08:50:15Z)
• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models [65.51390418485207]
  本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。 関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。 我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
  論文  参考訳（メタデータ） (2022-06-28T19:46:29Z)
• Extracting Procedural Knowledge from Technical Documents [1.0773368566852943]
  手続きは、自動化、質問応答、会話の推進のために認知アシスタントが活用できる文書の重要な知識コンポーネントである。 プロダクトマニュアルやユーザガイドといった巨大なドキュメントを解析して,どの部分でプロシージャについて話しているのかを自動的に理解し,それを抽出することは,非常に難しい問題です。
  論文  参考訳（メタデータ） (2020-10-20T09:47:52Z)
• Knowledge-Aware Procedural Text Understanding with Multi-Stage Training [110.93934567725826]
  本稿では,このような文書の理解とプロセス中のエンティティの状態や場所の追跡を目的とした手続き的テキスト理解の課題に焦点をあてる。 常識的推論の難しさとデータ不足という2つの課題はまだ未解決のままである。 我々は、複数の外部知識を効果的に活用する、KnOwledge-Aware ProceduraL text understAnding (KOALA)モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-28T10:28:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。