論文の概要: Downstream Model Design of Pre-trained Language Model for Relation Extraction Task

• arxiv url: http://arxiv.org/abs/2004.03786v1
• Date: Wed, 8 Apr 2020 03:16:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 07:59:10.877069
• Title: Downstream Model Design of Pre-trained Language Model for Relation Extraction Task
• Title（参考訳）: 関係抽出作業のための事前学習言語モデルの下流モデル設計
• Authors: Cheng Li, Ye Tian
• Abstract要約: 近年の情報抽出分野において,ディープニューラルネットワークに基づく教師付き関係抽出手法が重要な役割を担っている。 特別な損失関数を持つ新しいネットワークアーキテクチャは、教師付き関係抽出のためのPLMの下流モデルとして機能するように設計されている。
• 参考スコア（独自算出の注目度）: 6.608858001497843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised relation extraction methods based on deep neural network play an important role in the recent information extraction field. However, at present, their performance still fails to reach a good level due to the existence of complicated relations. On the other hand, recently proposed pre-trained language models (PLMs) have achieved great success in multiple tasks of natural language processing through fine-tuning when combined with the model of downstream tasks. However, original standard tasks of PLM do not include the relation extraction task yet. We believe that PLMs can also be used to solve the relation extraction problem, but it is necessary to establish a specially designed downstream task model or even loss function for dealing with complicated relations. In this paper, a new network architecture with a special loss function is designed to serve as a downstream model of PLMs for supervised relation extraction. Experiments have shown that our method significantly exceeded the current optimal baseline models across multiple public datasets of relation extraction.
• Abstract（参考訳）: 近年の情報抽出分野において,ディープニューラルネットワークに基づく関係抽出手法が重要な役割を担っている。 しかし、現在では複雑な関係が存在するため、その性能は良好な水準には達していない。 一方,最近提案された事前学習型言語モデル(PLM)は,下流タスクモデルと組み合わせた微調整により,自然言語処理の複数のタスクにおいて大きな成功を収めている。 しかし、PLMの本来の標準タスクは、まだ関係抽出タスクを含まない。 PLMは、関係抽出の問題を解決するためにも使用できるが、複雑な関係を扱うために特別に設計された下流タスクモデルや損失関数を確立する必要がある。 本稿では,教師付き関係抽出のためのplmの下流モデルとして,特殊損失関数を持つ新しいネットワークアーキテクチャを提案する。 実験により,提案手法は関係抽出の複数の公開データセットにまたがる現在の最適ベースラインモデルを大きく上回った。

関連論文リスト

• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• PromptRE: Weakly-Supervised Document-Level Relation Extraction via Prompting-Based Data Programming [30.597623178206874]
  本稿では,文書レベルの関係抽出手法であるPromptREを提案する。 PromptREは、ラベルの配布とエンティティタイプを事前知識として組み込んでパフォーマンスを向上させる。 文書レベルの関係抽出のためのベンチマークデータセットであるReDocREDの実験結果は、ベースラインアプローチよりもPromptREの方が優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-13T17:23:17Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Curriculum Modeling the Dependence among Targets with Multi-task Learning for Financial Marketing [26.80709680959278]
  本稿では,複数順序依存型タスク学習のための事前情報統合モデル(textbfPIMM)を提案する。 PIMは、トレーニング中に下流タスクに転送するソフトサンプリング戦略により、真のラベル情報または先行タスク予測をランダムに選択する。 公開データセットと製品データセットのオフライン実験結果は、PIMMが最先端のベースラインを上回っていることを確認する。
  論文  参考訳（メタデータ） (2023-04-25T07:55:16Z)
• A Dirichlet Process Mixture of Robust Task Models for Scalable Lifelong Reinforcement Learning [11.076005074172516]
  強化学習アルゴリズムは、生涯ストリーミング情報に直面すると、破滅的な忘れ物や干渉に容易に遭遇する。 本稿では,ネットワーク容量を動的に拡張し,新たな知識に適合する拡張寿命RL法を提案する。 提案手法は,拡張寿命の長いRLの実現に成功し,既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-22T09:48:41Z)
• Improving Long Tailed Document-Level Relation Extraction via Easy Relation Augmentation and Contrastive Learning [66.83982926437547]
  我々は,DocREが現実のシナリオにおいて,長期分布問題の緩和に不可欠であると主張する。 長期分布問題に動機付けられ,DocREを改善するための簡易関係拡張法(ERA)を提案する。
  論文  参考訳（メタデータ） (2022-05-21T06:15:11Z)
• Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
  視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。 リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。 モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
  論文  参考訳（メタデータ） (2022-02-22T02:33:54Z)
• Temporal Relation Extraction with a Graph-Based Deep Biaffine Attention Model [0.0]
  本稿では, ディープ・バイファイン・アテンションに基づく新しい時間情報抽出モデルを提案する。 本研究では,時間的関係抽出における最先端性能の実現を実験的に実証した。
  論文  参考訳（メタデータ） (2022-01-16T19:40:08Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Exploring Task Difficulty for Few-Shot Relation Extraction [22.585574542329677]
  Few-shot Relation extract (FSRE) は、わずかに注釈付きインスタンスで学習することで、新しい関係を認識することに焦点を当てている。 本稿では,関係ラベル情報を活用することで,より良い表現を学習するコントラスト学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-12T09:40:33Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。