論文の概要: GPT Struct Me: Probing GPT Models on Narrative Entity Extraction
- arxiv url: http://arxiv.org/abs/2311.14583v1
- Date: Fri, 24 Nov 2023 16:19:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-27 14:36:41.322300
- Title: GPT Struct Me: Probing GPT Models on Narrative Entity Extraction
- Title（参考訳）: GPT構造Me:ナラティブエンティティ抽出に基づくGPTモデルの提案
- Authors: Hugo Sousa, Nuno Guimar\~aes, Al\'ipio Jorge, Ricardo Campos
- Abstract要約: 我々は,2つの最先端言語モデル(GPT-3とGPT-3.5)の物語の抽出能力を評価する。
本研究はポルトガルの119のニュース記事を集めたText2Story Lusaデータセットを用いて行った。
- 参考スコア（独自算出の注目度）: 2.049592435988883
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The importance of systems that can extract structured information from
textual data becomes increasingly pronounced given the ever-increasing volume
of text produced on a daily basis. Having a system that can effectively extract
such information in an interoperable manner would be an asset for several
domains, be it finance, health, or legal. Recent developments in natural
language processing led to the production of powerful language models that can,
to some degree, mimic human intelligence. Such effectiveness raises a pertinent
question: Can these models be leveraged for the extraction of structured
information? In this work, we address this question by evaluating the
capabilities of two state-of-the-art language models -- GPT-3 and GPT-3.5,
commonly known as ChatGPT -- in the extraction of narrative entities, namely
events, participants, and temporal expressions. This study is conducted on the
Text2Story Lusa dataset, a collection of 119 Portuguese news articles whose
annotation framework includes a set of entity structures along with several
tags and attribute values. We first select the best prompt template through an
ablation study over prompt components that provide varying degrees of
information on a subset of documents of the dataset. Subsequently, we use the
best templates to evaluate the effectiveness of the models on the remaining
documents. The results obtained indicate that GPT models are competitive with
out-of-the-box baseline systems, presenting an all-in-one alternative for
practitioners with limited resources. By studying the strengths and limitations
of these models in the context of information extraction, we offer insights
that can guide future improvements and avenues to explore in this field.
- Abstract（参考訳）: テキストデータから構造化された情報を抽出できるシステムの重要性は、日々生成されるテキスト量の増加に伴い、ますます顕著になる。
このような情報を相互運用可能な方法で効果的に抽出できるシステムを持つことは、金融、健康、法的といったいくつかの領域の資産となる。
近年の自然言語処理の発展は、ある程度の人間の知能を模倣できる強力な言語モデルを生み出した。
これらのモデルは、構造化された情報の抽出に利用できますか?
本稿では,2つの最先端言語モデル(GPT-3とGPT-3.5,通称ChatGPT)の物語的実体,すなわちイベント,参加者,時間的表現の抽出能力を評価することで,この問題に対処する。
本研究は,ポルトガルの119のニュース記事の集合であるtext2story lusaデータセットを用いて,アノテーションフレームワークが複数のタグと属性値とともにエンティティ構造の集合を含んでいることを示す。
まず、データセットの文書のサブセットに関するさまざまな情報を提供するプロンプトコンポーネントに関するアブレーション研究を通じて、最適なプロンプトテンプレートを選択する。
その後、最も優れたテンプレートを用いて、残りの文書上でのモデルの有効性を評価する。
その結果,gptモデルはアウトオブボックスのベースラインシステムと競合し,リソースの制限のある実践者に対してオールインワンの代替手段が示された。
情報抽出の文脈におけるこれらのモデルの強みと限界を研究することで、この分野での今後の改善と道のりをガイドできる洞察を提供する。
関連論文リスト
- Learning to Extract Structured Entities Using Language Models [52.281701191329]
機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。
タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。
我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
論文 参考訳（メタデータ） (2024-02-06T22:15:09Z) - A Comparative Analysis of Conversational Large Language Models in
Knowledge-Based Text Generation [5.661396828160973]
本研究では,意味的三重項から自然言語文を生成する際に,対話型大規模言語モデルの実証分析を行う。
我々は、異なるプロンプト技術を用いて、異なる大きさの4つの大きな言語モデルを比較する。
この結果から,三重動詞化における大規模言語モデルの能力は,数発のプロンプト,後処理,効率的な微調整技術によって著しく向上することが示唆された。
論文 参考訳（メタデータ） (2024-02-02T15:26:39Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳（メタデータ） (2024-01-28T08:56:49Z) - Accelerated materials language processing enabled by GPT [5.518792725397679]
我々は材料言語処理のための生成変換器(GPT)対応パイプラインを開発した。
まず、関連する文書をスクリーニングするためのGPT対応文書分類手法を開発する。
第二に、NERタスクでは、エンティティ中心のプロンプトを設計し、そのほとんどを学習することで、パフォーマンスが改善された。
最後に,GPT対応抽出QAモデルを開発し,性能の向上とアノテーションの自動修正の可能性を示す。
論文 参考訳（メタデータ） (2023-08-18T07:31:13Z) - Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。
本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。
我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
論文 参考訳（メタデータ） (2023-05-23T04:28:16Z) - Document-Level Machine Translation with Large Language Models [91.03359121149595]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。
本稿では,LLMの談話モデルにおける能力について詳細に評価する。
論文 参考訳（メタデータ） (2023-04-05T03:49:06Z) - Topic Discovery via Latent Space Clustering of Pretrained Language Model
Representations [35.74225306947918]
本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。
提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
論文 参考訳（メタデータ） (2022-02-09T17:26:08Z) - Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。
提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
論文 参考訳（メタデータ） (2021-09-02T16:05:24Z) - Combining pre-trained language models and structured knowledge [9.521634184008574]
トランスフォーマーベースの言語モデルは、様々なNLPベンチマークにおいて、最先端の性能を実現している。
これらのモデルに知識グラフのような構造化情報を統合することは困難であることが証明されている。
構造化された知識を現在の言語モデルに統合し、課題を決定するための様々なアプローチについて検討し、構造化された情報ソースと非構造化された情報ソースの両方を活用する機会について検討する。
論文 参考訳（メタデータ） (2021-01-28T21:54:03Z) - ENT-DESC: Entity Description Generation by Exploring Knowledge Graph [53.03778194567752]
実際には、出力記述が最も重要な知識のみをカバーするため、入力知識は十分以上である可能性がある。
我々は、KG-to-textにおけるこのような実践的なシナリオの研究を容易にするために、大規模で挑戦的なデータセットを導入する。
本稿では,元のグラフ情報をより包括的に表現できるマルチグラフ構造を提案する。
論文 参考訳（メタデータ） (2020-04-30T14:16:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。