論文の概要: Entity or Relation Embeddings? An Analysis of Encoding Strategies for Relation Extraction

• arxiv url: http://arxiv.org/abs/2312.11062v2
• Date: Wed, 02 Oct 2024 14:26:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:17:34.571955
• Title: Entity or Relation Embeddings? An Analysis of Encoding Strategies for Relation Extraction
• Title（参考訳）: エンティティ・エンベッド : 関係抽出のためのエンコード戦略の解析
• Authors: Frank Mtumbuka, Steven Schockaert,
• Abstract要約: 関係抽出は、本質的にはテキスト分類問題であり、事前学習言語モデル(LM)を微調整することで取り組める。 既存のアプローチでは、LMを微調整して頭と尾のエンティティの埋め込みを学習し、それらのエンティティの埋め込みから関係を予測する。 本稿では,より直接的な方法で関係を捉えることにより,関係抽出モデルを改善することができるという仮説を立てる。
• 参考スコア（独自算出の注目度）: 19.019881161010474
• License:
• Abstract: Relation extraction is essentially a text classification problem, which can be tackled by fine-tuning a pre-trained language model (LM). However, a key challenge arises from the fact that relation extraction cannot straightforwardly be reduced to sequence or token classification. Existing approaches therefore solve the problem in an indirect way: they fine-tune an LM to learn embeddings of the head and tail entities, and then predict the relationship from these entity embeddings. Our hypothesis in this paper is that relation extraction models can be improved by capturing relationships in a more direct way. In particular, we experiment with appending a prompt with a [MASK] token, whose contextualised representation is treated as a relation embedding. While, on its own, this strategy significantly underperforms the aforementioned approach, we find that the resulting relation embeddings are highly complementary to what is captured by embeddings of the head and tail entity. By jointly considering both types of representations, we end up with a simple model that outperforms the state-of-the-art across several relation extraction benchmarks.
• Abstract（参考訳）: 関係抽出は、本質的にはテキスト分類の問題であり、事前訓練された言語モデル(LM)を微調整することで取り組める。 しかし、関係抽出が直接的にシーケンスやトークンの分類に還元できないという事実から重要な課題が生じる。 既存のアプローチでは、LMを微調整して頭と尾のエンティティの埋め込みを学習し、それらのエンティティの埋め込みから関係を予測する。 本稿では,より直接的な方法で関係を捉えることにより,関係抽出モデルを改善することができるという仮説を立てる。 特に、[MASK]トークンにプロンプトを付加して、文脈表現を関係埋め込みとして扱う実験を行った。 この戦略は, 上述のアプローチを著しく下回っているが, 結果として得られる関係埋め込みは, 頭部と尾部の埋め込みによって得られるものと極めて相補的であることがわかった。 両種類の表現を共同で考えることで、いくつかの関係抽出ベンチマークで最先端の単純なモデルが得られる。

関連論文リスト

• Siamese Representation Learning for Unsupervised Relation Extraction [5.776369192706107]
  非教師付き関係抽出(URE)は、オープンドメインのプレーンテキストから名前付きエンティティペア間の基礎となる関係を見つけることを目的としている。 比較学習を利用した既存のUREモデルでは、正のサンプルを惹きつけ、より良い分離を促進するために負のサンプルを反発させる効果がある。 非教師関係抽出のためのシームズ表現学習 - 正のペアを単純に活用して表現学習を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-01T02:57:43Z)
• Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
  要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。 本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。 2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
  論文  参考訳（メタデータ） (2023-08-24T16:06:36Z)
• PCRED: Zero-shot Relation Triplet Extraction with Potential Candidate Relation Selection and Entity Boundary Detection [11.274924966891842]
  ゼロショット関係三重項抽出(ZeroRTE)は、非構造化テキストから関係三重項を抽出することを目的としている。 従来の最先端の手法は、事前訓練された言語モデルを利用して、追加のトレーニングサンプルとしてデータを生成することで、この困難なタスクを処理する。 我々は,この課題を新たな視点から解決し,候補関係選択とエンティティ境界検出を併用した PCRED for ZeroRTE という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T04:27:31Z)
• A Simple yet Effective Relation Information Guided Approach for Few-Shot Relation Extraction [22.60428265210431]
  Few-Shot Relation extractは、文中の一対の実体の関係を、各関係にいくつかのラベル付き例で訓練することによって予測することを目的としている。 原型ネットワークに基づくモデル学習を支援するための関係情報を導入した最近の研究もある。 関係情報はモデルにより明確かつ効果的に導入できると論じる。
  論文  参考訳（メタデータ） (2022-05-19T13:03:01Z)
• HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction [60.80849503639896]
  非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。 本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。 2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2022-05-04T17:56:48Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Element Intervention for Open Relation Extraction [27.408443348900057]
  OpenREは、同じ基盤となる関係を参照する関係インスタンスをクラスタ化することを目的としている。 現在のOpenREモデルは、一般的に遠隔監視から生成されたデータセットに基づいてトレーニングされている。 本稿では,OpenREの手順を因果的観点から再考する。
  論文  参考訳（メタデータ） (2021-06-17T14:37:13Z)
• Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction [84.64435075778988]
  本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。 我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。 私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2020-11-27T06:21:12Z)
• Learning to Decouple Relations: Few-Shot Relation Classification with Entity-Guided Attention and Confusion-Aware Training [49.9995628166064]
  本稿では,2つのメカニズムを備えたモデルであるCTEGを提案する。 一方、注意を誘導するEGA機構を導入し、混乱を引き起こす情報をフィルタリングする。 一方,コンフュージョン・アウェア・トレーニング(CAT)法は,関係の識別を明示的に学習するために提案されている。
  論文  参考訳（メタデータ） (2020-10-21T11:07:53Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。