論文の概要: GPT Struct Me: Probing GPT Models on Narrative Entity Extraction
- arxiv url: http://arxiv.org/abs/2311.14583v1
- Date: Fri, 24 Nov 2023 16:19:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-27 14:36:41.322300
- Title: GPT Struct Me: Probing GPT Models on Narrative Entity Extraction
- Title(参考訳): GPT構造Me:ナラティブエンティティ抽出に基づくGPTモデルの提案
- Authors: Hugo Sousa, Nuno Guimar\~aes, Al\'ipio Jorge, Ricardo Campos
- Abstract要約: 我々は,2つの最先端言語モデル(GPT-3とGPT-3.5)の物語の抽出能力を評価する。
本研究はポルトガルの119のニュース記事を集めたText2Story Lusaデータセットを用いて行った。
- 参考スコア(独自算出の注目度): 2.049592435988883
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The importance of systems that can extract structured information from
textual data becomes increasingly pronounced given the ever-increasing volume
of text produced on a daily basis. Having a system that can effectively extract
such information in an interoperable manner would be an asset for several
domains, be it finance, health, or legal. Recent developments in natural
language processing led to the production of powerful language models that can,
to some degree, mimic human intelligence. Such effectiveness raises a pertinent
question: Can these models be leveraged for the extraction of structured
information? In this work, we address this question by evaluating the
capabilities of two state-of-the-art language models -- GPT-3 and GPT-3.5,
commonly known as ChatGPT -- in the extraction of narrative entities, namely
events, participants, and temporal expressions. This study is conducted on the
Text2Story Lusa dataset, a collection of 119 Portuguese news articles whose
annotation framework includes a set of entity structures along with several
tags and attribute values. We first select the best prompt template through an
ablation study over prompt components that provide varying degrees of
information on a subset of documents of the dataset. Subsequently, we use the
best templates to evaluate the effectiveness of the models on the remaining
documents. The results obtained indicate that GPT models are competitive with
out-of-the-box baseline systems, presenting an all-in-one alternative for
practitioners with limited resources. By studying the strengths and limitations
of these models in the context of information extraction, we offer insights
that can guide future improvements and avenues to explore in this field.
- Abstract(参考訳): テキストデータから構造化された情報を抽出できるシステムの重要性は、日々生成されるテキスト量の増加に伴い、ますます顕著になる。
このような情報を相互運用可能な方法で効果的に抽出できるシステムを持つことは、金融、健康、法的といったいくつかの領域の資産となる。
近年の自然言語処理の発展は、ある程度の人間の知能を模倣できる強力な言語モデルを生み出した。
これらのモデルは、構造化された情報の抽出に利用できますか?
本稿では,2つの最先端言語モデル(GPT-3とGPT-3.5,通称ChatGPT)の物語的実体,すなわちイベント,参加者,時間的表現の抽出能力を評価することで,この問題に対処する。
本研究は,ポルトガルの119のニュース記事の集合であるtext2story lusaデータセットを用いて,アノテーションフレームワークが複数のタグと属性値とともにエンティティ構造の集合を含んでいることを示す。
まず、データセットの文書のサブセットに関するさまざまな情報を提供するプロンプトコンポーネントに関するアブレーション研究を通じて、最適なプロンプトテンプレートを選択する。
その後、最も優れたテンプレートを用いて、残りの文書上でのモデルの有効性を評価する。
その結果,gptモデルはアウトオブボックスのベースラインシステムと競合し,リソースの制限のある実践者に対してオールインワンの代替手段が示された。
情報抽出の文脈におけるこれらのモデルの強みと限界を研究することで、この分野での今後の改善と道のりをガイドできる洞察を提供する。
関連論文リスト
- A Comparative Analysis of Conversational Large Language Models in
Knowledge-Based Text Generation [5.661396828160973]
本研究では,意味的三重項から自然言語文を生成する際に,対話型大規模言語モデルの実証分析を行う。
我々は、異なるプロンプト技術を用いて、異なる大きさの4つの大きな言語モデルを比較する。
この結果から,三重動詞化における大規模言語モデルの能力は,数発のプロンプト,後処理,効率的な微調整技術によって著しく向上することが示唆された。
論文 参考訳(メタデータ) (2024-02-02T15:26:39Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳(メタデータ) (2024-01-28T08:56:49Z) - Accelerated materials language processing enabled by GPT [5.518792725397679]
我々は材料言語処理のための生成変換器(GPT)対応パイプラインを開発した。
まず、関連する文書をスクリーニングするためのGPT対応文書分類手法を開発する。
第二に、NERタスクでは、エンティティ中心のプロンプトを設計し、そのほとんどを学習することで、パフォーマンスが改善された。
最後に,GPT対応抽出QAモデルを開発し,性能の向上とアノテーションの自動修正の可能性を示す。
論文 参考訳(メタデータ) (2023-08-18T07:31:13Z) - Document-Level Machine Translation with Large Language Models [91.03359121149595]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。
本稿では,LLMの談話モデルにおける能力について詳細に評価する。
論文 参考訳(メタデータ) (2023-04-05T03:49:06Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph
Construction [57.854498238624366]
本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。
RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
論文 参考訳(メタデータ) (2022-10-19T16:40:28Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z) - Topic Discovery via Latent Space Clustering of Pretrained Language Model
Representations [35.74225306947918]
本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。
提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
論文 参考訳(メタデータ) (2022-02-09T17:26:08Z) - Combining pre-trained language models and structured knowledge [9.521634184008574]
トランスフォーマーベースの言語モデルは、様々なNLPベンチマークにおいて、最先端の性能を実現している。
これらのモデルに知識グラフのような構造化情報を統合することは困難であることが証明されている。
構造化された知識を現在の言語モデルに統合し、課題を決定するための様々なアプローチについて検討し、構造化された情報ソースと非構造化された情報ソースの両方を活用する機会について検討する。
論文 参考訳(メタデータ) (2021-01-28T21:54:03Z) - ENT-DESC: Entity Description Generation by Exploring Knowledge Graph [53.03778194567752]
実際には、出力記述が最も重要な知識のみをカバーするため、入力知識は十分以上である可能性がある。
我々は、KG-to-textにおけるこのような実践的なシナリオの研究を容易にするために、大規模で挑戦的なデータセットを導入する。
本稿では,元のグラフ情報をより包括的に表現できるマルチグラフ構造を提案する。
論文 参考訳(メタデータ) (2020-04-30T14:16:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。