論文の概要: A Two-step Approach for Handling Zero-Cardinality in Relation Extraction

• arxiv url: http://arxiv.org/abs/2302.09887v1
• Date: Mon, 20 Feb 2023 10:30:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 15:51:46.306637
• Title: A Two-step Approach for Handling Zero-Cardinality in Relation Extraction
• Title（参考訳）: 関係抽出におけるゼロカーディナリティ処理の2段階的アプローチ
• Authors: Pratik Saini and Tapas Nayak and Samiran Pal and Indrajit Bhattacharya
• Abstract要約: 近年,F16-14スコアの獲得に成功している。 本稿では,最先端エンティティモデルをより現実的な環境で評価する。
• 参考スコア（独自算出の注目度）: 6.82851555888954
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Relation tuple extraction from text is an important task for building knowledge bases. Recently, joint entity and relation extraction models have achieved very high F1 scores in this task. However, the experimental settings used by these models are restrictive and the datasets used in the experiments are not realistic. They do not include sentences with zero tuples (zero-cardinality). In this paper, we evaluate the state-of-the-art joint entity and relation extraction models in a more realistic setting. We include sentences that do not contain any tuples in our experiments. Our experiments show that there is significant drop ($\sim 10-15\%$ in one dataset and $\sim 6-14\%$ in another dataset) in their F1 score in this setting. We also propose a two-step modeling using a simple BERT-based classifier that leads to improvement in the overall performance of these models in this realistic experimental setup.
• Abstract（参考訳）: テキストからの関係タプル抽出は知識ベースを構築する上で重要な課題である。 近年,コネクテッドエンティティと関係抽出モデルが非常に高いf1スコアを達成している。 しかし、これらのモデルで使われる実験的な設定は制限的で、実験で使われるデータセットは現実的ではない。 それらはゼロタプル(ゼロカルディナリティ)の文を含まない。 本稿では,よりリアルな設定で,最先端の関節エンティティと関係抽出モデルを評価する。 実験にはタプルを含まない文が含まれています。 当社の実験では、この設定では、f1スコアにかなりの低下(1つのデータセットに$\sim 10-15\%$、別のデータセットに$\sim 6-14\%$)があることが示されています。 また,単純なBERTに基づく分類器を用いた2段階モデリングを提案し,これらのモデル全体の性能を向上させる。

関連論文リスト

• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• Can You Rely on Your Model Evaluation? Improving Model Evaluation with Synthetic Test Data [75.20035991513564]
  本稿では,モデル評価を容易にする深層生成モデリングフレームワークである3Sテストを紹介する。 私たちの実験では、3Sテストが従来のベースラインより優れていることが示されています。 これらの結果は、限られた実テストデータから合成テストデータへのパラダイムシフトが必要かどうかという問題を提起する。
  論文  参考訳（メタデータ） (2023-10-25T10:18:44Z)
• FedCSD: A Federated Learning Based Approach for Code-Smell Detection [7.026278088747708]
  本稿では,MLモデルの協調学習を可能にするフェデレートラーニングコードスメル検出手法を提案する。 3つの実験では、異なるコードの臭いのシナリオを検出し、調査することを目的とした、手動で検証された3つのデータセットを活用している。 98.34%の精度は、100回のトレーニングラウンドで10社でトレーニングされたグローバルモデルによって達成された。
  論文  参考訳（メタデータ） (2023-05-31T09:51:45Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• PCRED: Zero-shot Relation Triplet Extraction with Potential Candidate Relation Selection and Entity Boundary Detection [11.274924966891842]
  ゼロショット関係三重項抽出(ZeroRTE)は、非構造化テキストから関係三重項を抽出することを目的としている。 従来の最先端の手法は、事前訓練された言語モデルを利用して、追加のトレーニングサンプルとしてデータを生成することで、この困難なタスクを処理する。 我々は,この課題を新たな視点から解決し,候補関係選択とエンティティ境界検出を併用した PCRED for ZeroRTE という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T04:27:31Z)
• Deconstructing Distributions: A Pointwise Framework of Learning [15.517383696434162]
  テスト分布におけるモデルの平均性能と、この個々の点におけるポイントワイズ性能の関係について調べる。 プロファイルは、モデルとデータの構造 -- 分布の内外 -- に新しい洞察を与えることができる。
  論文  参考訳（メタデータ） (2022-02-20T23:25:28Z)
• MSeg: A Composite Dataset for Multi-domain Semantic Segmentation [100.17755160696939]
  セマンティックセグメンテーションデータセットを異なるドメインから統合する合成データセットであるMSegを提案する。 一般化と画素レベルのアノテーションのアライメントを調整し,2万枚以上のオブジェクトマスクを8万枚以上の画像で再現する。 MSegでトレーニングされたモデルは、WildDash-v1のリーダーボードで、トレーニング中にWildDashのデータに触れることなく、堅牢なセマンティックセグメンテーションのためにランク付けされている。
  論文  参考訳（メタデータ） (2021-12-27T16:16:35Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Eider: Evidence-enhanced Document-level Relation Extraction [56.71004595444816]
  文書レベルの関係抽出(DocRE)は、文書内のエンティティペア間の意味関係を抽出することを目的としている。 本稿では,共同関係と証拠抽出,エビデンス中心関係抽出(RE),抽出結果の融合からなる3段階のエビデンス強化DocREフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-16T09:43:16Z)
• Re-TACRED: Addressing Shortcomings of the TACRED Dataset [5.820381428297218]
  TACREDは、最大かつ最も広く使われている文レベルの関係抽出データセットの1つである。 このデータセットを用いて評価された提案モデルは、新しい最先端のパフォーマンスを一貫して設定する。 しかし、彼らはまだ大規模なテキストコーポラで外部の知識と教師なしの事前訓練を利用しながら大きなエラー率を示しています。
  論文  参考訳（メタデータ） (2021-04-16T22:55:11Z)
• Realistic Re-evaluation of Knowledge Graph Completion Methods: An Experimental Study [0.0]
  本論文は,埋め込みモデルの真の有効性を評価することを目的とした,最初の体系的研究である。 実験の結果、これらのモデルは以前よりもはるかに精度が低いことが分かりました。
  論文  参考訳（メタデータ） (2020-03-18T01:18:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。