論文の概要: Dealing with negative samples with multi-task learning on span-based
joint entity-relation extraction
- arxiv url: http://arxiv.org/abs/2309.09713v1
- Date: Mon, 18 Sep 2023 12:28:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 13:43:03.131833
- Title: Dealing with negative samples with multi-task learning on span-based
joint entity-relation extraction
- Title（参考訳）: マルチタスク学習による非負のサンプルを用いたスパン型連成関係抽出
- Authors: Chenguang Xue and Jiamin Lu
- Abstract要約: 近年のスパン型関節抽出モデルでは, 実体認識と関係抽出の両面で有意な優位性を示した。
本稿では,スパンベースマルチタスク・エンティティ・リレーション・ジョイント抽出モデルを提案する。
- 参考スコア（独自算出の注目度）: 0.7252027234425334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent span-based joint extraction models have demonstrated significant
advantages in both entity recognition and relation extraction. These models
treat text spans as candidate entities, and span pairs as candidate
relationship tuples, achieving state-of-the-art results on datasets like ADE.
However, these models encounter a significant number of non-entity spans or
irrelevant span pairs during the tasks, impairing model performance
significantly. To address this issue, this paper introduces a span-based
multitask entity-relation joint extraction model. This approach employs the
multitask learning to alleviate the impact of negative samples on entity and
relation classifiers. Additionally, we leverage the Intersection over
Union(IoU) concept to introduce the positional information into the entity
classifier, achieving a span boundary detection. Furthermore, by incorporating
the entity Logits predicted by the entity classifier into the embedded
representation of entity pairs, the semantic input for the relation classifier
is enriched. Experimental results demonstrate that our proposed SpERT.MT model
can effectively mitigate the adverse effects of excessive negative samples on
the model performance. Furthermore, the model demonstrated commendable F1
scores of 73.61\%, 53.72\%, and 83.72\% on three widely employed public
datasets, namely CoNLL04, SciERC, and ADE, respectively.
- Abstract（参考訳）: 最近のスパン型関節抽出モデルでは, 実体認識と関係抽出の両方において大きな利点がある。
これらのモデルはテキストスパンを候補エンティティとして扱い、ペアを候補関係タプルとして扱い、ADEのようなデータセットで最先端の結果を達成する。
しかし、これらのモデルは、タスク中にかなりの数の非エンティティスパンまたは無関係スパンペアに遭遇し、モデルパフォーマンスを著しく損なう。
本稿では,スパン型マルチタスク・エンティティ・リレーショナル・ジョイント抽出モデルを提案する。
このアプローチでは、エンティティと関係分類器に対する負のサンプルの影響を軽減するためにマルチタスク学習を用いる。
さらに、IoU(Intersection over Union)の概念を利用して、位置情報をエンティティ分類器に導入し、スパン境界検出を実現する。
さらに、エンティティ分類器によって予測されるエンティティログをエンティティペアの埋め込み表現に組み込むことで、関係分類器のセマンティックインプットが強化される。
実験の結果,提案するspert.mtモデルは,過剰な負のサンプルがモデル性能に与える影響を効果的に軽減できることがわかった。
さらにconll04, scierc, adeの3つの広く採用されている公開データセットにおいて, 73.61\%, 53.72\%, 83.72\%のf1スコアを示した。
関連論文リスト
- Joint Extraction of Uyghur Medicine Knowledge with Edge Computing [1.4223082738595538]
CoEx-Bertはエッジコンピューティングにおけるパラメータ共有を伴う共同抽出モデルである。
ウグルの伝統的な医療データセットでは、精度、リコール、F1スコアはそれぞれ90.65%、92.45%、91.54%である。
論文 参考訳（メタデータ） (2024-01-13T08:27:24Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳（メタデータ） (2023-06-03T20:12:27Z) - Mitigating Spurious Correlations in Multi-modal Models during
Fine-tuning [18.45898471459533]
モデル一般化を低下させたり、間違った理由でモデルが正しいことを導いたという豪華な相関は、現実世界のデプロイメントにおいて大きな堅牢性に関する懸念の1つです。
本稿では,特定の関心領域の微調整において,刺激的な相関に対処する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-04-08T05:20:33Z) - Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。
視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。
人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
論文 参考訳（メタデータ） (2023-03-16T00:06:28Z) - Tokenization Consistency Matters for Generative Models on Extractive NLP
Tasks [54.306234256074255]
生成モデルの訓練において一般的に無視されるトークン化の不整合の問題を特定する。
この問題は、入力と出力が無矛盾にトークン化されると、これらのタスクの抽出特性を損なう。
一貫性のあるトークン化では、ドメイン内のデータセットとドメイン外のデータセットの両方で、モデルのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2022-12-19T23:33:21Z) - A Two-Phase Paradigm for Joint Entity-Relation Extraction [11.92606118894611]
本研究では,スパンベースジョイントエンティティと関係抽出のための2相パラダイムを提案する。
2相のパラダイムは、第1相のエンティティと関係を分類し、第2相のエンティティと関係のタイプを予測することである。
複数のデータセットによる実験結果から,2相パラダイムで強化されたスパンベース継手抽出モデルと,その大域的特徴が,関節抽出タスクにおける従来の最先端スパンベースモデルより一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2022-08-18T06:40:25Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳（メタデータ） (2021-09-24T17:37:35Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳（メタデータ） (2021-07-01T09:26:13Z) - An End-to-end Model for Entity-level Relation Extraction using
Multi-instance Learning [2.111790330664657]
本稿では,文書からのエンティティレベルの関係抽出のための共同モデルを提案する。
DocREDデータセットから最先端関係抽出結果を得る。
実験結果から,共同学習はタスク固有の学習と同等であるが,共有パラメータや学習手順によりより効率的であることが示唆された。
論文 参考訳（メタデータ） (2021-02-11T12:49:39Z) - Joint Extraction of Entity and Relation with Information Redundancy
Elimination [0.0]
本稿では,冗長な情報の問題と,エンティティと関係抽出モデルの重なり合う関係を解くための共同抽出モデルを提案する。
このモデルは、関係のない情報を生成することなく、複数の関連エンティティを直接抽出することができる。
また、文をモデル化する繰り返しユニットの能力を高めるために、LSTMという名前のリカレントニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2020-11-27T05:47:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。