論文の概要: Improving Distantly-Supervised Relation Extraction through BERT-based Label & Instance Embeddings

• arxiv url: http://arxiv.org/abs/2102.01156v1
• Date: Mon, 1 Feb 2021 20:50:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-03 16:36:25.667817
• Title: Improving Distantly-Supervised Relation Extraction through BERT-based Label & Instance Embeddings
• Title（参考訳）: BERT-based Label & Instance Embeddings による遠隔監視型関係抽出の改善
• Authors: Despina Christou, Grigorios Tsoumakas
• Abstract要約: 遠隔制御型変換器を用いたRE法であるREDSandTを提案する。 BERTの事前学習モデルとラベルとエンティティの関係をそれぞれ活用する。 NYT-10データセットの実験によると、REDSandTは信頼性の高いより広い関係をキャプチャする。
• 参考スコア（独自算出の注目度）: 2.88848244747161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distantly-supervised relation extraction (RE) is an effective method to scale RE to large corpora but suffers from noisy labels. Existing approaches try to alleviate noise through multi-instance learning and by providing additional information, but manage to recognize mainly the top frequent relations, neglecting those in the long-tail. We propose REDSandT (Relation Extraction with Distant Supervision and Transformers), a novel distantly-supervised transformer-based RE method, that manages to capture a wider set of relations through highly informative instance and label embeddings for RE, by exploiting BERT's pre-trained model, and the relationship between labels and entities, respectively. We guide REDSandT to focus solely on relational tokens by fine-tuning BERT on a structured input, including the sub-tree connecting an entity pair and the entities' types. Using the extracted informative vectors, we shape label embeddings, which we also use as attention mechanism over instances to further reduce noise. Finally, we represent sentences by concatenating relation and instance embeddings. Experiments in the NYT-10 dataset show that REDSandT captures a broader set of relations with higher confidence, achieving state-of-the-art AUC (0.424).
• Abstract（参考訳）: 遠隔教師付き関係抽出(RE)は,REを大規模コーパスに拡張する有効な方法であるが,ノイズラベルに悩まされている。 既存のアプローチは、マルチインスタンス学習と追加情報の提供を通じてノイズを緩和しようとしますが、主にトップの頻繁な関係を認識し、長期にわたってそれらを無視します。 REDSandT(Relation Extraction with Distant Supervision and Transformers)は、BERTの事前訓練モデルとラベルとエンティティの関係をそれぞれ活用し、高度に有益なインスタンスとREのラベル埋め込みを通じてより広い関係セットをキャプチャする、遠隔監視トランスフォーマーベースの新しいREメソッドである。 エンティティペアとエンティティの型を接続するサブツリーを含む構造化された入力にBERTを微調整することで、ReDSandTはリレーショナルトークンのみにフォーカスするように誘導する。 抽出した情報ベクトルを用いてラベル埋め込みを形づくり、さらにノイズを低減するためにインスタンス上の注意機構として使用する。 最後に、関係とインスタンス埋め込みを結合することで文を表現する。 NYT-10データセットの実験では、REDSandTはより幅広い信頼関係を捉え、最先端のAUC(0.424)を達成している。

関連論文リスト

• Distantly-Supervised Joint Extraction with Noise-Robust Learning [36.23022433465051]
  我々は、知識ベース(KB)を用いてエンティティの言及を対応するエンティティと関係タグに整合させることによりラベルを生成する遠隔ラベル付きデータにおける共同抽出の問題に焦点をあてる。 既存のアプローチは、ノイズの1つの源のみを考慮するか、外部知識を使って決定を行うかのどちらかであり、トレーニングデータにおいて重要な情報を十分に活用することはできない。 本稿では,軽量トランスフォーマーバックボーンを結合タグ付けのためのシーケンスラベリング方式に組み込んだ一般化可能なフレームワークDENRLを提案する。
  論文  参考訳（メタデータ） (2023-10-08T03:42:15Z)
• Mutually Guided Few-shot Learning for Relational Triple Extraction [10.539566491939844]
  三重抽出(MG-FTE)のための相互指導型Few-shot学習フレームワーク 本手法は,関係を分類するエンティティ誘導型リレーショナルデコーダと,エンティティを抽出するプロトデコーダとから構成される。 FewRel 1.0(単一ドメイン)では12.6F1スコア、FewRel 2.0(クロスドメイン)では20.5F1スコアで、多くの最先端手法よりも優れています。
  論文  参考訳（メタデータ） (2023-06-23T06:15:54Z)
• RelationPrompt: Leveraging Prompts to Generate Synthetic Data for Zero-Shot Relation Triplet Extraction [65.4337085607711]
  ゼロショット関係トリプルト抽出(ZeroRTE)のタスク設定について紹介する。 入力文が与えられた後、抽出された各三重項は、トレーニング段階で関係ラベルが見えないヘッドエンティティ、リレーションラベル、テールエンティティから構成される。 本稿では、言語モデルに構造化テキストを生成するよう促すことで、関係例を合成する。
  論文  参考訳（メタデータ） (2022-03-17T05:55:14Z)
• AutoTriggER: Label-Efficient and Robust Named Entity Recognition with Auxiliary Trigger Extraction [54.20039200180071]
  我々は,エンティティトリガの自動生成と活用によるNER性能向上のための新しいフレームワークを提案する。 筆者らのフレームワークは,ポストホックな説明を活用して合理的な知識を生成し,埋め込み手法を用いてモデルの事前知識を強化する。 AutoTriggERは強力なラベル効率を示し、目に見えないエンティティを一般化し、RoBERTa-CRFベースラインを平均0.5F1ポイント上回る性能を持つ。
  論文  参考訳（メタデータ） (2021-09-10T08:11:56Z)
• An Embarrassingly Simple Model for Dialogue Relation Extraction [44.2379205657313]
  対話reをマルチラベル分類タスクとしてモデル化し,simplereという単純かつ効果的なモデルを提案する。 simplere は対話における複数の関係間の相互関係を新しい入力形式 bert relation token sequence (brs) によって捉える リレーショナルリファインメントゲート(RRG)は、関係固有の意味表現を適応的に抽出するように設計されている。
  論文  参考訳（メタデータ） (2020-12-27T06:22:23Z)
• Relation Clustering in Narrative Knowledge Graphs [71.98234178455398]
  原文内の関係文は(SBERTと)埋め込み、意味論的に類似した関係をまとめるためにクラスタ化される。 予備的なテストでは、そのようなクラスタリングが類似した関係を検知し、半教師付きアプローチのための貴重な前処理を提供することが示されている。
  論文  参考訳（メタデータ） (2020-11-27T10:43:04Z)
• Learning to Decouple Relations: Few-Shot Relation Classification with Entity-Guided Attention and Confusion-Aware Training [49.9995628166064]
  本稿では,2つのメカニズムを備えたモデルであるCTEGを提案する。 一方、注意を誘導するEGA機構を導入し、混乱を引き起こす情報をフィルタリングする。 一方,コンフュージョン・アウェア・トレーニング(CAT)法は,関係の識別を明示的に学習するために提案されている。
  論文  参考訳（メタデータ） (2020-10-21T11:07:53Z)
• Cross-Supervised Joint-Event-Extraction with Heterogeneous Information Networks [61.950353376870154]
  Joint-event- Extractは、トリガとエンティティのタグからなるタグセットを備えたシーケンスからシーケンスまでのラベリングタスクである。 トリガやエンティティの抽出を交互に監督するクロススーパーバイザードメカニズム(CSM)を提案する。 我々の手法は、エンティティとトリガー抽出の両方において最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-10-13T11:51:17Z)
• Distantly-Supervised Neural Relation Extraction with Side Information using BERT [2.0946724304757955]
  関係抽出(Relation extract、RE)は、文内のエンティティ間の関係を分類する。 この戦略を採用する方法の1つはRESIDEモデルであり、知識ベースからの側情報を用いた遠方の教師付きニューラルネットワーク抽出を提案する。 本稿では,この手法が最先端のベースラインより優れていることを考慮し,追加の側情報を用いたRESIDE関連手法を提案するが,BERT埋め込みによる文エンコーディングを簡略化する。
  論文  参考訳（メタデータ） (2020-04-29T19:29:10Z)
• Relabel the Noise: Joint Extraction of Entities and Relations via Cooperative Multiagents [52.55119217982361]
  協調型マルチエージェント群を用いて,雑音の多いインスタンスを処理するための共同抽出手法を提案する。 ノイズの多いインスタンスをきめ細かな方法で処理するために、協調グループの各エージェントは、自身の視点で連続的な信頼スコアを算出してインスタンスを評価する。 信頼度コンセンサスモジュールは、すべてのエージェントの知恵を収集し、信頼度ラベル付きラベルでノイズの多いトレーニングセットを再分割するように設計されている。
  論文  参考訳（メタデータ） (2020-04-21T12:03:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。