論文の概要: $\textit{BenchIE}^{FL}$ : A Manually Re-Annotated Fact-Based Open Information Extraction Benchmark
- arxiv url: http://arxiv.org/abs/2407.16860v1
- Date: Tue, 23 Jul 2024 22:04:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-25 15:22:45.468355
- Title: $\textit{BenchIE}^{FL}$ : A Manually Re-Annotated Fact-Based Open Information Extraction Benchmark
- Title（参考訳）: $\textit{BenchIE}^{FL}$ : Fact-based Open Information extract Benchmark
- Authors: Fabrice Lamarche, Philippe Langlais,
- Abstract要約: $textitBenchIEFL$は新しいOIEベンチマークで、BenchIEの原則を完全に適用している。
$textitBenchIEFL$は、OIE抽出器の実際のパフォーマンスについて、洞察に富んだ結論を導き出すことができる。
- 参考スコア（独自算出の注目度）: 8.3354390091931
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Open Information Extraction (OIE) is a field of natural language processing that aims to present textual information in a format that allows it to be organized, analyzed and reflected upon. Numerous OIE systems are developed, claiming ever-increasing performance, marking the need for objective benchmarks. BenchIE is the latest reference we know of. Despite being very well thought out, we noticed a number of issues we believe are limiting. Therefore, we propose $\textit{BenchIE}^{FL}$, a new OIE benchmark which fully enforces the principles of BenchIE while containing fewer errors, omissions and shortcomings when candidate facts are matched towards reference ones. $\textit{BenchIE}^{FL}$ allows insightful conclusions to be drawn on the actual performance of OIE extractors.
- Abstract（参考訳）: Open Information extract (OIE)は、自然言語処理の分野であり、テキスト情報を整理、分析、反映できるフォーマットで提示することを目的としている。
多くのOIEシステムが開発され、パフォーマンスが継続的に向上し、客観的なベンチマークの必要性が強調されている。
BenchIEは私たちが知っている最新のリファレンスです。
非常によく考えられたにもかかわらず、私たちはいくつかの問題が制限されていることに気づきました。
そこで我々は,候補事実が参照事実と一致した場合の誤りや省略,欠点を少なく抑えつつ,BenchIEの原理を完全に強制する新しいOIEベンチマークである$\textit{BenchIE}^{FL}$を提案する。
$\textit{BenchIE}^{FL}$は、OIE抽出器の実際の性能について、洞察に富んだ結論を導き出すことができる。
関連論文リスト
- ADELIE: Aligning Large Language Models on Information Extraction [55.60192044049083]
大規模言語モデル(LLM)は通常、情報抽出タスクで不足する。
本稿では,様々なIEタスクを効果的に解決する協調LLMであるADELIEを紹介する。
本稿では,オープンソースモデル間でのSoTA(State-of-the-art)性能について述べる。
論文 参考訳（メタデータ） (2024-05-08T12:24:52Z) - Instruct and Extract: Instruction Tuning for On-Demand Information
Extraction [86.29491354355356]
On-Demand Information extractは、現実世界のユーザのパーソナライズされた要求を満たすことを目的としている。
InstructIEというベンチマークを、自動生成したトレーニングデータと、人手による注釈付きテストセットの両方を含む形で提示する。
InstructIE 上に構築した On-Demand Information Extractor, ODIE をさらに発展させる。
論文 参考訳（メタデータ） (2023-10-24T17:54:25Z) - Guideline Learning for In-context Information Extraction [29.062173997909028]
インコンテキスト情報抽出(IE)は近年,研究コミュニティで注目を集めている。
この欠点の主な理由として,未特定なタスク記述を挙げる。
In-context IEのためのガイドライン学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-08T08:25:16Z) - WebIE: Faithful and Robust Information Extraction on the Web [7.361265860494963]
We present WebIE, a first large-scale, entity-linked closed IE dataset with 1.6M sentences。
WebIEには否定的な例、すなわち事実の3倍の文が含まれており、ウェブ上のデータをよく反映している。
生成IEモデルのドメイン内, ドメイン内, ドメイン内, ゼロショットの言語間性能を評価し, WebIE で訓練されたモデルの方がより汎用性が高いことを示す。
論文 参考訳（メタデータ） (2023-05-23T17:37:53Z) - ChatIE: Zero-Shot Information Extraction via Chatting with ChatGPT [89.49161588240061]
ゼロショット情報抽出(IE)は、注釈のないテキストからIEシステムを構築することを目的としている。
大規模言語モデル(LLMs、GPT-3、ChatGPT)に対する最近の取り組みは、ゼロショット設定での有望なパフォーマンスを示している。
ゼロショットIEタスクを2段階フレームワーク(ChatIE)でマルチターン質問応答問題に変換する。
論文 参考訳（メタデータ） (2023-02-20T12:57:12Z) - Enriching Relation Extraction with OpenIE [70.52564277675056]
関係抽出(RE)は情報抽出(IE)のサブ分野である
本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。
本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
論文 参考訳（メタデータ） (2022-12-19T11:26:23Z) - Towards Generalized Open Information Extraction [74.20080376460947]
我々は、ソーストレーニングドメインと異なるデータ分布を持つ未確認対象ドメインを一般化する、より現実的なシナリオを提案する。
DragonIEは、ドメイン内設定とドメイン外設定の両方で、F1スコアの6.4%を絶対的に上回っている。
論文 参考訳（メタデータ） (2022-11-29T07:33:44Z) - IELM: An Open Information Extraction Benchmark for Pre-Trained Language
Models [75.48081086368606]
我々は、事前学習言語モデル(LM)のための新しいオープン情報抽出(OIE)ベンチマークを導入する。
我々は、事前訓練されたLMに存在するオープンリレーショナル情報を十分に検証することを目的としたOIEベンチマークを作成する。
驚いたことに、事前訓練されたLMは、両方の標準OIEデータセットで競合する性能を得ることができる。
論文 参考訳（メタデータ） (2022-10-25T16:25:00Z) - AnnIE: An Annotation Platform for Constructing Complete Open Information
Extraction Benchmark [11.344977846840747]
オープン情報抽出(OIE)は、関係の形で文から事実を抽出し、それに対応する議論をスキーマフリーで行うタスクである。
OIEシステムの性能をより現実的に測定するには、入力文から完全な事実を手動で注釈付けする必要がある。
本稿では,このような難易度の高いアノテーションタスクを支援する対話型アノテーションプラットフォームAnnIEを提案する。
論文 参考訳（メタデータ） (2021-09-15T17:57:30Z) - BenchIE: Open Information Extraction Evaluation Based on Facts, Not
Tokens [32.57336782092527]
OIEシステムの本質的な評価は手作業で行われ、人間の評価者は抽出の正しさを判断する。
既存のOIEベンチマークには、同じ事実の許容できるすべてのバリエーションが含まれていないため、モデルの性能を信頼できない評価に繋がる。
我々は、英語、中国語、ドイツ語のOIEシステムの総合評価のためのベンチマークおよび評価フレームワークであるBenchIEを紹介する。
論文 参考訳（メタデータ） (2021-09-14T17:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。