論文の概要: ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning

• arxiv url: http://arxiv.org/abs/2012.15022v1
• Date: Wed, 30 Dec 2020 03:35:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 06:07:23.849743
• Title: ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning
• Title（参考訳）: ERICA:コントラスト学習による事前学習言語モデルのエンティティと関係理解の改善
• Authors: Yujia Qin, Yankai Lin, Ryuichi Takanobu, Zhiyuan Liu, Peng Li, Heng Ji, Minlie Huang, Maosong Sun, Jie Zhou
• Abstract要約: そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
• 参考スコア（独自算出の注目度）: 97.10875695679499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained Language Models (PLMs) have shown strong performance in various downstream Natural Language Processing (NLP) tasks. However, PLMs still cannot well capture the factual knowledge in the text, which is crucial for understanding the whole text, especially for document-level language understanding tasks. To address this issue, we propose a novel contrastive learning framework named ERICA in pre-training phase to obtain a deeper understanding of the entities and their relations in text. Specifically, (1) to better understand entities, we propose an entity discrimination task that distinguishes which tail entity can be inferred by the given head entity and relation. (2) Besides, to better understand relations, we employ a relation discrimination task which distinguishes whether two entity pairs are close or not in relational semantics. Experimental results demonstrate that our proposed ERICA framework achieves consistent improvements on several document-level language understanding tasks, including relation extraction and reading comprehension, especially under low resource setting. Meanwhile, ERICA achieves comparable or better performance on sentence-level tasks. We will release the datasets, source codes and pre-trained language models for further research explorations.
• Abstract（参考訳）: 事前訓練された言語モデル(PLM)は、様々な下流自然言語処理(NLP)タスクで高いパフォーマンスを示している。 しかし、plmはテキスト中の事実の知識をうまく捉えられないため、テキスト全体の理解、特に文書レベルの言語理解タスクにおいて重要である。 この問題に対処するため,本研究では,ERICA という新たなコントラスト学習フレームワークを事前学習段階で提案し,エンティティとその関係をテキストでより深く理解する。 具体的には、(1)エンティティをよりよく理解するために、与えられたヘッドエンティティと関係によって推測できる末尾エンティティを区別するエンティティ識別タスクを提案する。 2)関係をよりよく理解するために、2つのエンティティペアが関係セマンティクスにおいて近接しているか否かを区別する関係識別タスクを用いる。 実験の結果,本フレームワークは,関係抽出や読解といった文書レベルの言語理解タスクにおいて,特に低リソース環境下で一貫した改善を実現していることがわかった。 一方、ERICAは文レベルのタスクで同等またはより良いパフォーマンスを達成する。 さらなる研究のために、データセット、ソースコード、事前学習された言語モデルをリリースします。

関連論文リスト

• Can Linguistic Knowledge Improve Multimodal Alignment in Vision-Language Pretraining? [34.609984453754656]
  本研究の目的は,意味表現や構文構造を含む包括的言語知識がマルチモーダルアライメントに与える影響を明らかにすることである。 具体的には、最初の大規模マルチモーダルアライメント探索ベンチマークであるSNAREを設計、リリースする。
  論文  参考訳（メタデータ） (2023-08-24T16:17:40Z)
• An Empirical Revisiting of Linguistic Knowledge Fusion in Language Understanding Tasks [33.765874588342285]
  構文的・意味的知識を持つ言語モデルの構築は,多くの言語理解タスクにおいて改善されている。 GLUEベンチマークにおいて,解析されたグラフや木を簡単なタスクに置き換える実験的検討を行った。 このことは、利得は明示的な言語的先行によるものではなく、融合層によってもたらされるより機能的な相互作用によるものであることを明らかにしている。
  論文  参考訳（メタデータ） (2022-10-24T07:47:32Z)
• Coarse-to-Fine: Hierarchical Multi-task Learning for Natural Language Understanding [51.31622274823167]
  本稿では,各タスクの下位レベルを全タスクに共有し,中間レベルを異なるグループに分割し,上位レベルを各タスクに割り当てる,粗大なパラダイムを持つ階層型フレームワークを提案する。 これにより、すべてのタスクから基本言語特性を学習し、関連するタスクのパフォーマンスを高め、無関係なタスクから負の影響を減らすことができる。
  論文  参考訳（メタデータ） (2022-08-19T02:46:20Z)
• Visualizing the Relationship Between Encoded Linguistic Information and Task Performance [53.223789395577796]
  本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。 我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。 実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-29T19:03:10Z)
• Structured Prediction as Translation between Augmented Natural Languages [109.50236248762877]
  本研究では,構造化予測言語の課題を解決するために,新しいフレームワークであるTANL(Translation between Augmented Natural Languages)を提案する。 タスク固有の差別を訓練することで問題に取り組む代わりに、拡張自然言語間の翻訳タスクとして位置づける。 提案手法は, タスク固有のモデルに適合するか, 性能に優れ, 特に, 共同エンティティと関係抽出に関する新たな最先端結果が得られる。
  論文  参考訳（メタデータ） (2021-01-14T18:32:21Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)
• Hierarchical Multi Task Learning with Subword Contextual Embeddings for Languages with Rich Morphology [5.5217350574838875]
  自然言語処理(NLP)における多くのシーケンスラベリングタスクにおける形態情報の重要性 本研究では, 単語文脈埋め込みを用いて, 豊富な形態素を持つ言語に対する形態情報を取得することを提案する。 我々のモデルは、トルコ語の両方のタスクにおける過去の最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2020-04-25T22:55:56Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。