論文の概要: In-Context Few-Shot Relation Extraction via Pre-Trained Language Models
- arxiv url: http://arxiv.org/abs/2310.11085v1
- Date: Tue, 17 Oct 2023 09:10:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 16:52:11.103658
- Title: In-Context Few-Shot Relation Extraction via Pre-Trained Language Models
- Title(参考訳): 事前学習言語モデルによる文脈差関係抽出
- Authors: Yilmazcan Ozyurt, Stefan Feuerriegel, Ce Zhang
- Abstract要約: 本稿では,事前学習した言語モデルを用いたテキスト内数ショット関係抽出のための新しいフレームワークを提案する。
我々のフレームワークはフレキシブルで、再トレーニングすることなく、新しい関係のセットを簡単に更新できる。
ドキュメントレベルの関係抽出用データセットとして最大であるDocREDを用いて,本フレームワークの評価を行った。
- 参考スコア(独自算出の注目度): 33.657362861477615
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Relation extraction aims at inferring structured human knowledge from textual
documents. State-of-the-art methods based on language models commonly have two
limitations: (1) they require named entities to be either given as input or
infer them, which introduces additional noise, and (2) they require human
annotations of documents. As a remedy, we present a novel framework for
in-context few-shot relation extraction via pre-trained language models. To the
best of our knowledge, we are the first to reformulate the relation extraction
task as a tailored in-context few-shot learning paradigm. Thereby, we achieve
crucial benefits in that we eliminate the need for both named entity
recognition and human annotation of documents. Unlike existing methods based on
fine-tuning, our framework is flexible in that it can be easily updated for a
new set of relations without re-training. We evaluate our framework using
DocRED, the largest publicly available dataset for document-level relation
extraction, and demonstrate that our framework achieves state-of-the-art
performance. Finally, our framework allows us to identify missing annotations,
and we thus show that our framework actually performs much better than the
original labels from the development set of DocRED.
- Abstract(参考訳): 関係抽出は、テキスト文書から構造化された人間知識を推測することを目的としている。
言語モデルに基づく最先端のメソッドは、一般的に2つの制限がある: (1) 名前付きエンティティは入力として与えられるか推論されるか、追加のノイズをもたらすか、(2) ドキュメントの人間のアノテーションを必要とする。
本稿では,事前学習された言語モデルによる文脈内少数ショット関係抽出のための新しい枠組みを提案する。
私たちの知識を最大限に活用するために、関係抽出タスクをコンテキスト内数ショット学習パラダイムとして再構成したのは、私たちが初めてです。
これにより、名前付きエンティティ認識と文書の人的アノテーションの両方の必要性をなくすことで、重要なメリットが得られる。
微調整に基づく既存の手法とは異なり、我々のフレームワークは柔軟であり、再トレーニングなしに新しい関係に対して簡単に更新できる。
ドキュメントレベルの関係抽出のための最大の公開データセットであるdocredを用いて,我々のフレームワークを評価し,そのフレームワークが最先端のパフォーマンスを達成できることを実証する。
最後に、我々のフレームワークは、欠落したアノテーションを識別できるので、私たちのフレームワークはDocREDの開発セットのオリジナルのラベルよりもはるかに優れたパフォーマンスを示します。
関連論文リスト
- Semi-automatic Data Enhancement for Document-Level Relation Extraction
with Distant Supervision from Large Language Models [26.523153535336725]
ドキュメントレベルの関係抽出(DocRE)は、長いコンテキストから関係を抽出することを目的としている。
本稿では,大規模言語モデル (LLM) と自然言語推論 (NLI) モジュールを統合する手法を提案する。
DocGNREと呼ばれる拡張データセットを導入することで,提案手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-11-13T13:10:44Z) - In-Context Pretraining: Language Modeling Beyond Document Boundaries [141.22670357089385]
In-Context Pretrainingは、言語モデルが関連するドキュメントのシーケンスで事前トレーニングされる新しいアプローチである。
本稿では, 近接探索を効率的に行うための近似アルゴリズムを提案する。
より複雑なコンテキスト推論を必要とするタスクの顕著な改善が見られます。
論文 参考訳(メタデータ) (2023-10-16T17:57:12Z) - Generate rather than Retrieve: Large Language Models are Strong Context
Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。
我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文 参考訳(メタデータ) (2022-09-21T01:30:59Z) - Document-Level Relation Extraction with Sentences Importance Estimation
and Focusing [52.069206266557266]
文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。
我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。
2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
論文 参考訳(メタデータ) (2022-04-27T03:20:07Z) - Unified Pretraining Framework for Document Understanding [52.224359498792836]
文書理解のための統合事前学習フレームワークであるUDocを紹介する。
UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。
UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
論文 参考訳(メタデータ) (2022-04-22T21:47:04Z) - Eider: Evidence-enhanced Document-level Relation Extraction [56.71004595444816]
文書レベルの関係抽出(DocRE)は、文書内のエンティティペア間の意味関係を抽出することを目的としている。
本稿では,共同関係と証拠抽出,エビデンス中心関係抽出(RE),抽出結果の融合からなる3段階のエビデンス強化DocREフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-16T09:43:16Z) - Entity and Evidence Guided Relation Extraction for DocRED [33.69481141963074]
この課題に対して,共同トレーニングフレームワークE2GRE(Entity and Evidence Guided Relation extract)を提案する。
事前訓練された言語モデル(例えばBERT, RoBERTa)への入力としてエンティティ誘導シーケンスを導入する。
これらのエンティティ誘導シーケンスは、事前訓練された言語モデル(LM)がエンティティに関連するドキュメントの領域に集中するのに役立ちます。
我々は最近リリースされた関係抽出のための大規模データセットDocREDに対するE2GREアプローチを評価した。
論文 参考訳(メタデータ) (2020-08-27T17:41:23Z) - Reasoning with Latent Structure Refinement for Document-Level Relation
Extraction [20.308845516900426]
本稿では,潜在文書レベルグラフを自動的に誘導することにより,文間の関係推論を促進する新しいモデルを提案する。
具体的には、大規模文書レベルデータセット(DocRED)上でF1スコア59.05を達成する。
論文 参考訳(メタデータ) (2020-05-13T13:36:09Z) - Learning to Select Bi-Aspect Information for Document-Scale Text Content
Manipulation [50.01708049531156]
我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。
詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。
出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
論文 参考訳(メタデータ) (2020-02-24T12:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。