論文の概要: Imposing Relation Structure in Language-Model Embeddings Using Contrastive Learning

• arxiv url: http://arxiv.org/abs/2109.00840v2
• Date: Sat, 4 Sep 2021 11:58:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-07 11:52:01.403339
• Title: Imposing Relation Structure in Language-Model Embeddings Using Contrastive Learning
• Title（参考訳）: コントラスト学習を用いた言語モデル埋め込みにおける関係構造の導入
• Authors: Christos Theodoropoulos, James Henderson, Andrei C. Coman, Marie-Francine Moens
• Abstract要約: グラフ構造における関係をエンコードするために文埋め込みを訓練する新しいコントラスト学習フレームワークを提案する。 結果として得られた関係認識文の埋め込みは、関係抽出タスクにおける最先端の結果を得る。
• 参考スコア（独自算出の注目度）: 30.00047118880045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Though language model text embeddings have revolutionized NLP research, their ability to capture high-level semantic information, such as relations between entities in text, is limited. In this paper, we propose a novel contrastive learning framework that trains sentence embeddings to encode the relations in a graph structure. Given a sentence (unstructured text) and its graph, we use contrastive learning to impose relation-related structure on the token-level representations of the sentence obtained with a CharacterBERT (El Boukkouri et al.,2020) model. The resulting relation-aware sentence embeddings achieve state-of-the-art results on the relation extraction task using only a simple KNN classifier, thereby demonstrating the success of the proposed method. Additional visualization by a tSNE analysis shows the effectiveness of the learned representation space compared to baselines. Furthermore, we show that we can learn a different space for named entity recognition, again using a contrastive learning objective, and demonstrate how to successfully combine both representation spaces in an entity-relation task.
• Abstract（参考訳）: 言語モデルテキスト埋め込みはNLP研究に革命をもたらしたが、テキスト内のエンティティ間の関係のような高度な意味情報をキャプチャする能力は限られている。 本稿では,グラフ構造における関係を符号化するために文埋め込みを訓練する,新しいコントラスト学習フレームワークを提案する。 文(非構造化テキスト)とそのグラフが与えられたとき、比較学習を用いて、文字ベール(el boukkouri et al.,2020)モデルで得られた文のトークンレベルの表現に関係関係構造を課す。 得られた関係認識文の埋め込みは、単純なKNN分類器のみを用いて、関係抽出タスクにおける最先端の処理結果を達成し、提案手法の成功を実証する。 tsne解析によるさらなる可視化は、ベースラインと比較して学習表現空間の有効性を示している。 さらに, 比較学習目的を用いて, 名前付きエンティティ認識のための異なる空間を学習できることを示し, 両方の表現空間をエンティティ関係タスクでうまく結合する方法を実証する。

関連論文リスト

• Relational Contrastive Learning and Masked Image Modeling for Scene Text Recognition [36.59116507158687]
  STR(RCMSTR)のためのコントラスト学習とマスケ画像モデリングの統合フレームワークを提案する。 提案したRCMSTRは、STR関連下流タスクにおいて優れた性能を示し、既存の最先端の自己教師型STR技術よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-11-18T01:11:47Z)
• Entity-Aware Self-Attention and Contextualized GCN for Enhanced Relation Extraction in Long Sentences [5.453850739960517]
  本稿では,入力文の構文構造とシーケンスの意味的文脈を効率的に組み込んだ,エンティティを意識した自己意図型GCN(ESC-GCN)を提案する。 本モデルでは,既存の依存性ベースモデルやシーケンスベースモデルと比較して,パフォーマンスの向上を実現している。
  論文  参考訳（メタデータ） (2024-09-15T10:50:51Z)
• Prompt-based Logical Semantics Enhancement for Implicit Discourse Relation Recognition [4.7938839332508945]
  Inlicit Discourse Relation Recognition (IDRR) のための Prompt-based Logical Semantics Enhancement (PLSE) 法を提案する。 提案手法は,事前学習した言語モデルに対する対話関係に関する知識を,素早い接続予測によってシームレスに注入する。 PDTB 2.0 と CoNLL16 データセットによる実験結果から,本手法は現状の最先端モデルに対して優れた一貫した性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-11-01T08:38:08Z)
• Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
  本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。 実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-09-20T18:40:37Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• Neuro-Symbolic Representations for Video Captioning: A Case for Leveraging Inductive Biases for Vision and Language [148.0843278195794]
  ビデオキャプションのためのマルチモーダルなニューラルシンボリック表現を学習するための新しいモデルアーキテクチャを提案する。 本手法では,ビデオ間の関係を学習する辞書学習手法と,そのペアによるテキスト記述を用いる。
  論文  参考訳（メタデータ） (2020-11-18T20:21:19Z)
• Named Entity Recognition and Relation Extraction using Enhanced Table Filling by Contextualized Representations [14.614028420899409]
  提案手法は,複雑な手作り特徴やニューラルネットワークアーキテクチャを伴わずに,エンティティ参照と長距離依存関係の表現を計算する。 我々はまた、歴史に基づく予測や検索戦略に頼ることなく、関係ラベルを一度に予測するためにテンソルドット積を適用する。 その単純さにもかかわらず、実験の結果、提案手法はCoNLL04とACE05の英語データセット上で最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-15T04:58:23Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)
• A Dependency Syntactic Knowledge Augmented Interactive Architecture for End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
  エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。 このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。 3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-04-04T14:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。