論文の概要: Document-Level In-Context Few-Shot Relation Extraction via Pre-Trained
Language Models
- arxiv url: http://arxiv.org/abs/2310.11085v2
- Date: Fri, 2 Feb 2024 13:50:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 19:41:44.607272
- Title: Document-Level In-Context Few-Shot Relation Extraction via Pre-Trained
Language Models
- Title(参考訳): 事前学習言語モデルによる文書レベルインコンテクストのFew-Shot関係抽出
- Authors: Yilmazcan Ozyurt, Stefan Feuerriegel, Ce Zhang
- Abstract要約: 本稿では,事前学習型言語モデルを用いた文書レベルの文書内複数ショット関係抽出のための新しいフレームワークを提案する。
微調整に基づく既存の手法とは異なり、我々のフレームワークは柔軟であり、再トレーニングなしに新しい関係に対して簡単に更新できる。
ドキュメントレベルの関係抽出用データセットとして最大であるDocREDを用いて,本フレームワークの評価を行った。
- 参考スコア(独自算出の注目度): 33.657362861477615
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Relation extraction aims at inferring structured human knowledge from textual
documents. State-of-the-art methods based on language models commonly have two
limitations: (1) they require named entities to be either given as input or
infer them, which introduces additional noise, and (2) they require human
annotations of documents. As a remedy, we present a novel framework for
document-level in-context few-shot relation extraction via pre-trained language
models. We achieve crucial benefits in that we eliminate the need for both
named entity recognition and human annotation of documents. Unlike existing
methods based on fine-tuning, our framework is flexible in that it can be
easily updated for a new set of relations without re-training. We evaluate our
framework using DocRED, the largest publicly available dataset for
document-level relation extraction, and demonstrate that our framework achieves
state-of-the-art performance. Finally, we show that our framework actually
performs much better than the original labels from the development set of
DocRED. To the best of our knowledge, we are the first to reformulate the
document-level relation extraction task as a tailored in-context few-shot
learning paradigm.
- Abstract(参考訳): 関係抽出は、テキスト文書から構造化された人間知識を推測することを目的としている。
言語モデルに基づく最先端のメソッドは、一般的に2つの制限がある: (1) 名前付きエンティティは入力として与えられるか推論されるか、追加のノイズをもたらすか、(2) ドキュメントの人間のアノテーションを必要とする。
本稿では,事前学習された言語モデルによる文書レベルのコンテキスト内少数ショット関係抽出のための新しいフレームワークを提案する。
我々は、名前付きエンティティ認識と文書の人的アノテーションの両方の必要性をなくすことで、重要な利益を達成する。
微調整に基づく既存の手法とは異なり、我々のフレームワークは柔軟であり、再トレーニングなしに新しい関係に対して簡単に更新できる。
ドキュメントレベルの関係抽出のための最大の公開データセットであるdocredを用いて,我々のフレームワークを評価し,そのフレームワークが最先端のパフォーマンスを達成できることを実証する。
最後に、私たちのフレームワークはDocREDの開発セットのオリジナルのラベルよりもはるかに優れたパフォーマンスを示します。
私たちの知る限りでは、ドキュメントレベルの関係抽出タスクを、コンテキスト内最小限の学習パラダイムとして再編成した最初の例です。
関連論文リスト
- Semi-automatic Data Enhancement for Document-Level Relation Extraction
with Distant Supervision from Large Language Models [26.523153535336725]
ドキュメントレベルの関係抽出(DocRE)は、長いコンテキストから関係を抽出することを目的としている。
本稿では,大規模言語モデル (LLM) と自然言語推論 (NLI) モジュールを統合する手法を提案する。
DocGNREと呼ばれる拡張データセットを導入することで,提案手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-11-13T13:10:44Z) - In-Context Pretraining: Language Modeling Beyond Document Boundaries [141.22670357089385]
In-Context Pretrainingは、言語モデルが関連するドキュメントのシーケンスで事前トレーニングされる新しいアプローチである。
本稿では, 近接探索を効率的に行うための近似アルゴリズムを提案する。
より複雑なコンテキスト推論を必要とするタスクの顕著な改善が見られます。
論文 参考訳(メタデータ) (2023-10-16T17:57:12Z) - Generate rather than Retrieve: Large Language Models are Strong Context
Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。
我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文 参考訳(メタデータ) (2022-09-21T01:30:59Z) - Document-Level Relation Extraction with Sentences Importance Estimation
and Focusing [52.069206266557266]
文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。
我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。
2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
論文 参考訳(メタデータ) (2022-04-27T03:20:07Z) - Unified Pretraining Framework for Document Understanding [52.224359498792836]
文書理解のための統合事前学習フレームワークであるUDocを紹介する。
UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。
UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
論文 参考訳(メタデータ) (2022-04-22T21:47:04Z) - Eider: Evidence-enhanced Document-level Relation Extraction [56.71004595444816]
文書レベルの関係抽出(DocRE)は、文書内のエンティティペア間の意味関係を抽出することを目的としている。
本稿では,共同関係と証拠抽出,エビデンス中心関係抽出(RE),抽出結果の融合からなる3段階のエビデンス強化DocREフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-16T09:43:16Z) - Entity and Evidence Guided Relation Extraction for DocRED [33.69481141963074]
この課題に対して,共同トレーニングフレームワークE2GRE(Entity and Evidence Guided Relation extract)を提案する。
事前訓練された言語モデル(例えばBERT, RoBERTa)への入力としてエンティティ誘導シーケンスを導入する。
これらのエンティティ誘導シーケンスは、事前訓練された言語モデル(LM)がエンティティに関連するドキュメントの領域に集中するのに役立ちます。
我々は最近リリースされた関係抽出のための大規模データセットDocREDに対するE2GREアプローチを評価した。
論文 参考訳(メタデータ) (2020-08-27T17:41:23Z) - Reasoning with Latent Structure Refinement for Document-Level Relation
Extraction [20.308845516900426]
本稿では,潜在文書レベルグラフを自動的に誘導することにより,文間の関係推論を促進する新しいモデルを提案する。
具体的には、大規模文書レベルデータセット(DocRED)上でF1スコア59.05を達成する。
論文 参考訳(メタデータ) (2020-05-13T13:36:09Z) - Learning to Select Bi-Aspect Information for Document-Scale Text Content
Manipulation [50.01708049531156]
我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。
詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。
出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
論文 参考訳(メタデータ) (2020-02-24T12:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。