論文の概要: 90% F1 Score in Relational Triple Extraction: Is it Real ?

• arxiv url: http://arxiv.org/abs/2302.09887v2
• Date: Fri, 27 Oct 2023 05:14:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 18:44:44.768106
• Title: 90% F1 Score in Relational Triple Extraction: Is it Real ?
• Title（参考訳）: リレーショナルトリプル抽出における90%F1スコア:真か?
• Authors: Pratik Saini and Samiran Pal and Tapas Nayak and Indrajit Bhattacharya
• Abstract要約: テキストからリレーショナルトリプルを抽出することは、知識ベースを構築する上で重要な課題である。 接合体および関係抽出モデルの最近の進歩は、顕著なF1スコアを示している。 本稿では,より現実的な条件下での最先端のジョイントエンティティと関係抽出モデルについてベンチマーク研究を行う。
• 参考スコア（独自算出の注目度）: 5.188158867781318
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Extracting relational triples from text is a crucial task for constructing knowledge bases. Recent advancements in joint entity and relation extraction models have demonstrated remarkable F1 scores ($\ge 90\%$) in accurately extracting relational triples from free text. However, these models have been evaluated under restrictive experimental settings and unrealistic datasets. They overlook sentences with zero triples (zero-cardinality), thereby simplifying the task. In this paper, we present a benchmark study of state-of-the-art joint entity and relation extraction models under a more realistic setting. We include sentences that lack any triples in our experiments, providing a comprehensive evaluation. Our findings reveal a significant decline (approximately 10-15\% in one dataset and 6-14\% in another dataset) in the models' F1 scores within this realistic experimental setup. Furthermore, we propose a two-step modeling approach that utilizes a simple BERT-based classifier. This approach leads to overall performance improvement in these models within the realistic experimental setting.
• Abstract（参考訳）: テキストからリレーショナルトリプルを抽出することは知識ベースを構築する上で重要な課題である。 最近のジョイントエンティティと関係抽出モデルの進歩は、フリーテキストからリレーショナルトリプルを正確に抽出する上で、顕著なf1スコア($\ge 90\%$)を示している。 しかし、これらのモデルは制限的な実験設定と非現実的なデータセットで評価されている。 彼らは三重項(0-cardinality)を持つ文を見落とし、タスクを単純化する。 本稿では,よりリアルな環境下での最先端の関節エンティティと関係抽出モデルのベンチマーク研究を行う。 実験には三つ組を欠いた文が含まれており、包括的な評価を提供しています。 この現実的な実験装置では,モデルのF1スコアに有意な低下(データセットの約10～15.%,データセットの6～14.%)がみられた。 さらに,単純なbertベース分類器を用いた2段階モデリング手法を提案する。 このアプローチは、現実的な実験環境でこれらのモデルの全体的なパフォーマンス改善につながる。

関連論文リスト

• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• Can You Rely on Your Model Evaluation? Improving Model Evaluation with Synthetic Test Data [75.20035991513564]
  本稿では,モデル評価を容易にする深層生成モデリングフレームワークである3Sテストを紹介する。 私たちの実験では、3Sテストが従来のベースラインより優れていることが示されています。 これらの結果は、限られた実テストデータから合成テストデータへのパラダイムシフトが必要かどうかという問題を提起する。
  論文  参考訳（メタデータ） (2023-10-25T10:18:44Z)
• FedCSD: A Federated Learning Based Approach for Code-Smell Detection [7.026278088747708]
  本稿では,MLモデルの協調学習を可能にするフェデレートラーニングコードスメル検出手法を提案する。 3つの実験では、異なるコードの臭いのシナリオを検出し、調査することを目的とした、手動で検証された3つのデータセットを活用している。 98.34%の精度は、100回のトレーニングラウンドで10社でトレーニングされたグローバルモデルによって達成された。
  論文  参考訳（メタデータ） (2023-05-31T09:51:45Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• PCRED: Zero-shot Relation Triplet Extraction with Potential Candidate Relation Selection and Entity Boundary Detection [11.274924966891842]
  ゼロショット関係三重項抽出(ZeroRTE)は、非構造化テキストから関係三重項を抽出することを目的としている。 従来の最先端の手法は、事前訓練された言語モデルを利用して、追加のトレーニングサンプルとしてデータを生成することで、この困難なタスクを処理する。 我々は,この課題を新たな視点から解決し,候補関係選択とエンティティ境界検出を併用した PCRED for ZeroRTE という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T04:27:31Z)
• Deconstructing Distributions: A Pointwise Framework of Learning [15.517383696434162]
  テスト分布におけるモデルの平均性能と、この個々の点におけるポイントワイズ性能の関係について調べる。 プロファイルは、モデルとデータの構造 -- 分布の内外 -- に新しい洞察を与えることができる。
  論文  参考訳（メタデータ） (2022-02-20T23:25:28Z)
• MSeg: A Composite Dataset for Multi-domain Semantic Segmentation [100.17755160696939]
  セマンティックセグメンテーションデータセットを異なるドメインから統合する合成データセットであるMSegを提案する。 一般化と画素レベルのアノテーションのアライメントを調整し,2万枚以上のオブジェクトマスクを8万枚以上の画像で再現する。 MSegでトレーニングされたモデルは、WildDash-v1のリーダーボードで、トレーニング中にWildDashのデータに触れることなく、堅牢なセマンティックセグメンテーションのためにランク付けされている。
  論文  参考訳（メタデータ） (2021-12-27T16:16:35Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Eider: Evidence-enhanced Document-level Relation Extraction [56.71004595444816]
  文書レベルの関係抽出(DocRE)は、文書内のエンティティペア間の意味関係を抽出することを目的としている。 本稿では,共同関係と証拠抽出,エビデンス中心関係抽出(RE),抽出結果の融合からなる3段階のエビデンス強化DocREフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-16T09:43:16Z)
• Re-TACRED: Addressing Shortcomings of the TACRED Dataset [5.820381428297218]
  TACREDは、最大かつ最も広く使われている文レベルの関係抽出データセットの1つである。 このデータセットを用いて評価された提案モデルは、新しい最先端のパフォーマンスを一貫して設定する。 しかし、彼らはまだ大規模なテキストコーポラで外部の知識と教師なしの事前訓練を利用しながら大きなエラー率を示しています。
  論文  参考訳（メタデータ） (2021-04-16T22:55:11Z)
• Realistic Re-evaluation of Knowledge Graph Completion Methods: An Experimental Study [0.0]
  本論文は,埋め込みモデルの真の有効性を評価することを目的とした,最初の体系的研究である。 実験の結果、これらのモデルは以前よりもはるかに精度が低いことが分かりました。
  論文  参考訳（メタデータ） (2020-03-18T01:18:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。