論文の概要: Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2203.10900v1
• Date: Mon, 21 Mar 2022 11:48:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 23:39:17.105940
• Title: Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation
• Title（参考訳）: 適応焦点損失と知識蒸留による文書レベル関係抽出
• Authors: Qingyu Tan, Ruidan He, Lidong Bing, Hwee Tou Ng
• Abstract要約: 文書レベルの関係抽出(DocRE)は文レベルの比較よりも難しい作業である。 3つの新しいコンポーネントを持つDocREのための半教師付きフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 44.39395368597772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Document-level Relation Extraction (DocRE) is a more challenging task compared to its sentence-level counterpart. It aims to extract relations from multiple sentences at once. In this paper, we propose a semi-supervised framework for DocRE with three novel components. Firstly, we use an axial attention module for learning the interdependency among entity-pairs, which improves the performance on two-hop relations. Secondly, we propose an adaptive focal loss to tackle the class imbalance problem of DocRE. Lastly, we use knowledge distillation to overcome the differences between human annotated data and distantly supervised data. We conducted experiments on two DocRE datasets. Our model consistently outperforms strong baselines and its performance exceeds the previous SOTA by 1.36 F1 and 1.46 Ign_F1 score on the DocRED leaderboard. Our code and data will be released at https://github.com/tonytan48/KD-DocRE.
• Abstract（参考訳）: 文書レベルの関係抽出(DocRE)は文レベルの比較よりも難しい作業である。 複数の文から同時に関係を抽出することを目的としている。 本稿では3つの新しいコンポーネントを持つDocREのための半教師付きフレームワークを提案する。 まず,アキシアルアテンションモジュールを用いてエンティティペア間の相互依存度を学習し,2ホップ関係の性能を向上させる。 次に,docreのクラス不均衡問題に取り組むための適応焦点損失を提案する。 最後に,人間の注釈データと遠隔教師データとの差異を克服するために知識蒸留を用いる。 2つのDocREデータセットについて実験を行った。 我々のモデルは、強いベースラインを一貫して上回り、その性能は、DocREDのリーダーボード上で、以前のSOTAの1.36 F1と1.46 Ign_F1スコアを上回る。 私たちのコードとデータはhttps://github.com/tonytan48/kd-docreでリリースされる。

関連論文リスト

• DocMamba: Efficient Document Pre-training with State Space Model [56.84200017560988]
  本稿では,状態空間モデルに基づく新しいフレームワークDocMambaを紹介する。 グローバルなモデリング能力を保ちながら、計算複雑性を線形に減らすように設計されている。 HRDocの実験では、DocMambaの長さ外挿の可能性が確認された。
  論文  参考訳（メタデータ） (2024-09-18T11:34:28Z)
• Consistency Guided Knowledge Retrieval and Denoising in LLMs for Zero-shot Document-level Relation Triplet Extraction [43.50683283748675]
  文書レベルの関係トリプルト抽出(DocRTE)は、文書から意味的関係を持つエンティティを同時に抽出することを目的とした情報システムの基本課題である。 既存の手法は、かなりの量の完全なラベル付きデータに依存している。 ChatGPTやLLaMAのような最近の先進言語モデル(LLM)は、素晴らしい長文生成能力を示している。
  論文  参考訳（メタデータ） (2024-01-24T17:04:28Z)
• Document-Level In-Context Few-Shot Relation Extraction via Pre-Trained Language Models [29.94694305204144]
  本稿では,文書レベルのインコンテクスト・イン・ショット関係抽出のための新しいフレームワークを提案する。 ドキュメントレベルの関係抽出用データセットとして最大であるDocREDを用いて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-10-17T09:10:27Z)
• PRiSM: Enhancing Low-Resource Document-Level Relation Extraction with Relation-Aware Score Calibration [44.074482478955126]
  ドキュメントレベルの関係抽出(DocRE)は、ドキュメント内のすべてのエンティティペアの関係を抽出することを目的としている。 DocREの主な課題は、人間の集中的な努力を必要とするデータに注釈をつけるコストである。 本稿では,関係意味情報に基づくロジット適応学習を行うPRiSMを提案する。
  論文  参考訳（メタデータ） (2023-09-25T04:42:39Z)
• Mutually Guided Few-shot Learning for Relational Triple Extraction [10.539566491939844]
  三重抽出(MG-FTE)のための相互指導型Few-shot学習フレームワーク 本手法は,関係を分類するエンティティ誘導型リレーショナルデコーダと,エンティティを抽出するプロトデコーダとから構成される。 FewRel 1.0(単一ドメイン)では12.6F1スコア、FewRel 2.0(クロスドメイン)では20.5F1スコアで、多くの最先端手法よりも優れています。
  論文  参考訳（メタデータ） (2023-06-23T06:15:54Z)
• HIORE: Leveraging High-order Interactions for Unified Entity Relation Extraction [85.80317530027212]
  本稿では,統合エンティティ関係抽出のための新しい手法であるHIOREを提案する。 重要な洞察は、単語ペア間の複雑な関連を活用することである。 実験の結果,HIOREは従来最高の統一モデルよりも1.11.8 F1ポイント向上した。
  論文  参考訳（メタデータ） (2023-05-07T14:57:42Z)
• Document-Level Relation Extraction with Sentences Importance Estimation and Focusing [52.069206266557266]
  文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。 我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。 2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
  論文  参考訳（メタデータ） (2022-04-27T03:20:07Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Eider: Evidence-enhanced Document-level Relation Extraction [56.71004595444816]
  文書レベルの関係抽出(DocRE)は、文書内のエンティティペア間の意味関係を抽出することを目的としている。 本稿では,共同関係と証拠抽出,エビデンス中心関係抽出(RE),抽出結果の融合からなる3段階のエビデンス強化DocREフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-16T09:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。