論文の概要: Towards Realistic Few-Shot Relation Extraction: A New Meta Dataset and Evaluation
- arxiv url: http://arxiv.org/abs/2404.04445v1
- Date: Fri, 5 Apr 2024 23:12:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 21:18:18.358432
- Title: Towards Realistic Few-Shot Relation Extraction: A New Meta Dataset and Evaluation
- Title（参考訳）: 実感的なFew-Shot関係抽出に向けて:新しいメタデータセットと評価
- Authors: Fahmida Alam, Md Asiful Islam, Robert Vacareanu, Mihai Surdeanu,
- Abstract要約: 数ショットの関係抽出のためのメタデータセットを提案する。
我々は最近の6つの連写関係抽出手法の総合評価を行う。
このタスクの全体的なパフォーマンスは低く、将来の研究に相当なニーズがあることを示唆している。
- 参考スコア（独自算出の注目度）: 17.398872494876365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a meta dataset for few-shot relation extraction, which includes two datasets derived from existing supervised relation extraction datasets NYT29 (Takanobu et al., 2019; Nayak and Ng, 2020) and WIKIDATA (Sorokin and Gurevych, 2017) as well as a few-shot form of the TACRED dataset (Sabo et al., 2021). Importantly, all these few-shot datasets were generated under realistic assumptions such as: the test relations are different from any relations a model might have seen before, limited training data, and a preponderance of candidate relation mentions that do not correspond to any of the relations of interest. Using this large resource, we conduct a comprehensive evaluation of six recent few-shot relation extraction methods, and observe that no method comes out as a clear winner. Further, the overall performance on this task is low, indicating substantial need for future research. We release all versions of the data, i.e., both supervised and few-shot, for future research.
- Abstract（参考訳）: 我々は,NYT29 (Takanobu et al, 2019; Nayak and Ng, 2020) とWIKIDATA (Sorokin and Gurevych, 2017) の2つの既存の教師付き関係抽出データセットとTACREDデータセット(Sabo et al, 2021)から派生した2つのデータセットを含む,少数ショット関係抽出のためのメタデータセットを紹介する。
重要なことに、これらのいくつかのデータセットはすべて、現実的な仮定の下で生成された。例えば、テスト関係は、モデルが以前見たであろう関係とは異なる。
この大きな資源を用いて,近年の6つの連写関係抽出手法を総合的に評価し,どの手法も明確な勝者にはならないことを観察する。
さらに、このタスクの全体的な性能は低く、将来の研究のかなりの必要性を示している。
将来の研究のために、すべてのバージョンのデータ、すなわち教師付きおよび少数ショットをリリースする。
関連論文リスト
- Anno-incomplete Multi-dataset Detection [67.69438032767613]
我々は「不完全なマルチデータセット検出」という新しい問題を提案する。
複数の注釈付きデータセットで全ての対象カテゴリを正確に検出できるエンドツーエンドのマルチタスク学習アーキテクチャを開発した。
論文 参考訳（メタデータ） (2024-08-29T03:58:21Z) - Numerical Literals in Link Prediction: A Critical Examination of Models and Datasets [2.5999037208435705]
数値リテラルを組み込んだリンク予測モデルは、既存のベンチマークデータセットに対してわずかに改善されている。
モデルが数値リテラルを使用するのに実際に優れているのか、あるいはグラフ構造を利用するのに優れているのかは、不明である。
本稿では,数値リテラルを組み込んだLPモデルの評価手法を提案する。
論文 参考訳（メタデータ） (2024-07-25T17:55:33Z) - Relational Extraction on Wikipedia Tables using Convolutional and Memory
Networks [6.200672130699805]
関係抽出(Relation extract、RE)は、テキスト内のエンティティ間の関係を抽出するタスクである。
我々は、エンティティをエンコードするために、畳み込みニューラルネットワーク(CNN)とBidirectional-Long Short Term Memory(BiLSTM)ネットワークからなる新しいモデルを導入する。
論文 参考訳（メタデータ） (2023-07-11T22:36:47Z) - Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls
and New Benchmarking [66.83273589348758]
リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。
近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。
これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
論文 参考訳（メタデータ） (2023-06-18T01:58:59Z) - PCRED: Zero-shot Relation Triplet Extraction with Potential Candidate
Relation Selection and Entity Boundary Detection [11.274924966891842]
ゼロショット関係三重項抽出(ZeroRTE)は、非構造化テキストから関係三重項を抽出することを目的としている。
従来の最先端の手法は、事前訓練された言語モデルを利用して、追加のトレーニングサンプルとしてデータを生成することで、この困難なタスクを処理する。
我々は,この課題を新たな視点から解決し,候補関係選択とエンティティ境界検出を併用した PCRED for ZeroRTE という新しい手法を提案する。
論文 参考訳（メタデータ） (2022-11-26T04:27:31Z) - MAVEN-ERE: A Unified Large-scale Dataset for Event Coreference,
Temporal, Causal, and Subevent Relation Extraction [78.61546292830081]
アノテーションを改良した大規模EREデータセットMAVEN-EREを構築した。
103,193個のイベント・コア・チェイン、1,216,217個の時間関係、57,992個の因果関係、15,841個の部分関係を含む。
実験の結果,MAVEN-ERE上でのEREは極めて困難であり,共同学習との相互関係を考慮すれば性能が向上することが示された。
論文 参考訳（メタデータ） (2022-11-14T13:34:49Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳（メタデータ） (2021-06-01T22:33:53Z) - Learning Relation Prototype from Unlabeled Texts for Long-tail Relation
Extraction [84.64435075778988]
本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。
我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。
私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
論文 参考訳（メタデータ） (2020-11-27T06:21:12Z) - Relation of the Relations: A New Paradigm of the Relation Extraction
Problem [52.21210549224131]
我々は,関係抽出(RE)の新たなパラダイムを提案し,同じ文脈におけるすべての関係の予測を総合的に検討する。
我々は、手作りのルールを必要としないデータ駆動型アプローチを開発し、グラフニューラルネットワークと関係行列変換器を用いた関係関係(RoR)をそれ自体で学習する。
実験の結果、私たちのモデルはACE05データセットでは+1.12%、SemEval 2018 Task 7.2では2.55%で最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2020-06-05T22:25:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。