論文の概要: AnnIE: An Annotation Platform for Constructing Complete Open Information
Extraction Benchmark
- arxiv url: http://arxiv.org/abs/2109.07464v1
- Date: Wed, 15 Sep 2021 17:57:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-16 15:03:44.585597
- Title: AnnIE: An Annotation Platform for Constructing Complete Open Information
Extraction Benchmark
- Title（参考訳）: AnnIE: 完全なオープン情報抽出ベンチマークを構築するためのアノテーションプラットフォーム
- Authors: Niklas Friedrich, Kiril Gashteovski, Mingying Yu, Bhushan Kotnis,
Carolin Lawrence, Mathias Niepert, Goran Glava\v{s}
- Abstract要約: オープン情報抽出(OIE)は、関係の形で文から事実を抽出し、それに対応する議論をスキーマフリーで行うタスクである。
OIEシステムの性能をより現実的に測定するには、入力文から完全な事実を手動で注釈付けする必要がある。
本稿では,このような難易度の高いアノテーションタスクを支援する対話型アノテーションプラットフォームAnnIEを提案する。
- 参考スコア（独自算出の注目度）: 11.344977846840747
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open Information Extraction (OIE) is the task of extracting facts from
sentences in the form of relations and their corresponding arguments in
schema-free manner. Intrinsic performance of OIE systems is difficult to
measure due to the incompleteness of existing OIE benchmarks: the ground truth
extractions do not group all acceptable surface realizations of the same fact
that can be extracted from a sentence. To measure performance of OIE systems
more realistically, it is necessary to manually annotate complete facts (i.e.,
clusters of all acceptable surface realizations of the same fact) from input
sentences. We propose AnnIE: an interactive annotation platform that
facilitates such challenging annotation tasks and supports creation of complete
fact-oriented OIE evaluation benchmarks. AnnIE is modular and flexible in order
to support different use case scenarios (i.e., benchmarks covering different
types of facts). We use AnnIE to build two complete OIE benchmarks: one with
verb-mediated facts and another with facts encompassing named entities.
Finally, we evaluate several OIE systems on our complete benchmarks created
with AnnIE. Our results suggest that existing incomplete benchmarks are overly
lenient, and that OIE systems are not as robust as previously reported. We
publicly release AnnIE under non-restrictive license.
- Abstract（参考訳）: オープン情報抽出(OIE)は、関係の形で文から事実を抽出し、それに対応する議論をスキーマフリーで行うタスクである。
OIEシステムの本質的な性能は、既存のOIEベンチマークの不完全性のため測定が難しい: 基底真理抽出は、文から抽出できる同じ事実のすべての許容面実現をグループ化しない。
OIEシステムの性能をより現実的に測定するには、入力文から完全な事実(すなわち、同じ事実の全ての許容面実現のクラスタ)を手動でアノテートする必要がある。
我々は,このような難易度の高いアノテーションタスクを支援するインタラクティブなアノテーションプラットフォームAnnIEを提案し,完全なファクト指向OIE評価ベンチマークの作成をサポートする。
AnnIEは、異なるユースケースシナリオ(例えば、異なる種類の事実をカバーするベンチマーク)をサポートするためにモジュール化され、柔軟である。
私たちはAnnIEを使って2つの完全なOIEベンチマークを構築しています。
最後に、AnnIEで作成した完全なベンチマークに基づいて複数のOIEシステムを評価する。
以上の結果から,既存の不完全ベンチマークは過度に寛大であり,OIEシステムは以前報告したほど堅牢ではないことが示唆された。
非制限ライセンスでAnnIEを公開しています。
関連論文リスト
- $\textit{BenchIE}^{FL}$ : A Manually Re-Annotated Fact-Based Open Information Extraction Benchmark [8.3354390091931]
$textitBenchIEFL$は新しいOIEベンチマークで、BenchIEの原則を完全に適用している。
$textitBenchIEFL$は、OIE抽出器の実際のパフォーマンスについて、洞察に富んだ結論を導き出すことができる。
論文 参考訳（メタデータ） (2024-07-23T22:04:04Z) - ADELIE: Aligning Large Language Models on Information Extraction [55.60192044049083]
大規模言語モデル(LLM)は通常、情報抽出タスクで不足する。
本稿では,様々なIEタスクを効果的に解決する協調LLMであるADELIEを紹介する。
本稿では,オープンソースモデル間でのSoTA(State-of-the-art)性能について述べる。
論文 参考訳（メタデータ） (2024-05-08T12:24:52Z) - Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。
オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。
予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
論文 参考訳（メタデータ） (2023-11-15T14:41:57Z) - Instruct and Extract: Instruction Tuning for On-Demand Information
Extraction [86.29491354355356]
On-Demand Information extractは、現実世界のユーザのパーソナライズされた要求を満たすことを目的としている。
InstructIEというベンチマークを、自動生成したトレーニングデータと、人手による注釈付きテストセットの両方を含む形で提示する。
InstructIE 上に構築した On-Demand Information Extractor, ODIE をさらに発展させる。
論文 参考訳（メタデータ） (2023-10-24T17:54:25Z) - UniEX: An Effective and Efficient Framework for Unified Information
Extraction via a Span-extractive Perspective [11.477764739452702]
本稿では,任意のスキーマフォーマットと互換性のあるユニバーサル情報抽出(IE)のための新しいパラダイムを提案する。
提案手法では,テキストベースのIEタスクをトークンペア問題として変換し,すべての抽出対象を均一に分解する。
実験結果から,Unix は生成的ユニバーサル IE モデルよりも性能と推論速度が優れていることが示された。
論文 参考訳（メタデータ） (2023-05-17T15:44:12Z) - WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。
標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。
我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
論文 参考訳（メタデータ） (2023-03-02T17:45:32Z) - Enriching Relation Extraction with OpenIE [70.52564277675056]
関係抽出(RE)は情報抽出(IE)のサブ分野である
本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。
本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
論文 参考訳（メタデータ） (2022-12-19T11:26:23Z) - Unified Structure Generation for Universal Information Extraction [58.89057387608414]
UIEは、異なるIEタスクを普遍的にモデル化し、ターゲット構造を適応的に生成し、異なる知識ソースから一般的なIE能力を協調的に学習することができる。
実験によると、UIEは4つのIEタスク、13のデータセット、およびすべての教師付き、低リソース、数ショット設定で最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2022-03-23T08:49:29Z) - BenchIE: Open Information Extraction Evaluation Based on Facts, Not
Tokens [32.57336782092527]
OIEシステムの本質的な評価は手作業で行われ、人間の評価者は抽出の正しさを判断する。
既存のOIEベンチマークには、同じ事実の許容できるすべてのバリエーションが含まれていないため、モデルの性能を信頼できない評価に繋がる。
我々は、英語、中国語、ドイツ語のOIEシステムの総合評価のためのベンチマークおよび評価フレームワークであるBenchIEを紹介する。
論文 参考訳（メタデータ） (2021-09-14T17:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。