論文の概要: KEPLET: Knowledge-Enhanced Pretrained Language Model with Topic Entity Awareness

• arxiv url: http://arxiv.org/abs/2305.01810v1
• Date: Tue, 2 May 2023 22:28:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 16:32:03.079364
• Title: KEPLET: Knowledge-Enhanced Pretrained Language Model with Topic Entity Awareness
• Title（参考訳）: KEPLET: トピックエンティティ認識を備えた知識強化事前学習言語モデル
• Authors: Yichuan Li, Jialong Han, Kyumin Lee, Chengyuan Ma, Benjamin Yao, Derek Liu
• Abstract要約: Topicエンティティ認識を備えた知識強化型LanguagEモデルKEPLETを提案する。 エンドツーエンドの方法で、KEPLETはトピックエンティティの情報をWikipediaの文に追加する場所を特定する。 2つの代表KEPLMに適用したKePLETの一般性と優越性を示す実験を行った。
• 参考スコア（独自算出の注目度）: 12.90996504014071
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, Pre-trained Language Models (PLMs) have shown their superiority by pre-training on unstructured text corpus and then fine-tuning on downstream tasks. On entity-rich textual resources like Wikipedia, Knowledge-Enhanced PLMs (KEPLMs) incorporate the interactions between tokens and mentioned entities in pre-training, and are thus more effective on entity-centric tasks such as entity linking and relation classification. Although exploiting Wikipedia's rich structures to some extent, conventional KEPLMs still neglect a unique layout of the corpus where each Wikipedia page is around a topic entity (identified by the page URL and shown in the page title). In this paper, we demonstrate that KEPLMs without incorporating the topic entities will lead to insufficient entity interaction and biased (relation) word semantics. We thus propose KEPLET, a novel Knowledge-Enhanced Pre-trained LanguagE model with Topic entity awareness. In an end-to-end manner, KEPLET identifies where to add the topic entity's information in a Wikipedia sentence, fuses such information into token and mentioned entities representations, and supervises the network learning, through which it takes topic entities back into consideration. Experiments demonstrated the generality and superiority of KEPLET which was applied to two representative KEPLMs, achieving significant improvements on four entity-centric tasks.
• Abstract（参考訳）: 近年、事前学習された言語モデル(plm)は、非構造化テキストコーパスを事前学習し、下流タスクを微調整することでその優位性を示している。 Wikipediaのようなエンティティリッチなテキストリソースでは、知識強化PLM(KEPLM)はトークンと前述のエンティティ間の相互作用を事前学習に取り入れており、エンティティリンクや関係分類のようなエンティティ中心のタスクにより効果的である。 ウィキペディアのリッチな構造をある程度利用しているが、従来のKEPLMは、ウィキペディアページがトピックエンティティ(ページURLで識別されページタイトルに表示される)の周りにあるコーパスのユニークなレイアウトを無視している。 本稿では、トピックエンティティを組み込まないKEPLMが、エンティティ間の相互作用が不十分になり、単語意味論に偏りが生じることを実証する。 そこで我々は,トピックを意識した知識強化型LanguagEモデルKEPLETを提案する。 エンドツーエンドの方法で、KEPLETは、トピックエンティティの情報をウィキペディアの文に追加する場所を特定し、それらの情報をトークンと前述のエンティティ表現に融合させ、トピックエンティティを考慮に入れたネットワーク学習を監督する。 KEPLETの汎用性と優越性を2つの代表的なKEPLMに適用し、4つのエンティティ中心タスクにおいて大幅な改善を実現した。

関連論文リスト

• Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [70.64617500380287]
  継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
  論文  参考訳（メタデータ） (2024-08-02T07:51:44Z)
• Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems [58.561904356651276]
  本稿では,対話型推薦システムのためのエンティティの意味理解を改善するために,知識強化型エンティティ表現学習(KERL)フレームワークを紹介する。 KERLは知識グラフと事前訓練された言語モデルを使用して、エンティティの意味的理解を改善する。 KERLはレコメンデーションとレスポンス生成の両方のタスクで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-12-18T06:41:23Z)
• Wikiformer: Pre-training with Structured Information of Wikipedia for Ad-hoc Retrieval [21.262531222066208]
  本稿では,ウィキペディアの構造的知識に基づいて,情報検索タスクに適した4つの事前学習目標を考案する。 既存の事前学習手法と比較して,本手法はトレーニングコーパスにおける意味的知識をよりよく捉えることができる。 生物医学・法学領域における実験結果から,本手法は垂直領域において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-12-17T09:31:47Z)
• Knowledge-Rich Self-Supervised Entity Linking [58.838404666183656]
  Knowledge-RIch Self-Supervision(KRISSBERT$)は400万のUMLSエンティティのためのユニバーサルエンティティリンカーである。 提案手法はゼロショット法と少数ショット法を仮定し,利用可能であればエンティティ記述やゴールドレファレンスラベルを簡単に組み込むことができる。 ラベル付き情報を一切使わずに400万のUMLSエンティティのためのユニバーサルエンティティリンカである$tt KRISSBERT$を生成する。
  論文  参考訳（メタデータ） (2021-12-15T05:05:12Z)
• Improving Entity Linking through Semantic Reinforced Entity Embeddings [16.868791358905916]
  そこで本稿では, コンテキスト共通性の学習を容易にするため, 実体埋め込みに微粒な意味情報を注入する手法を提案する。 エンティティの埋め込みに基づいて、エンティティリンクにおける最先端のパフォーマンスを新たに達成しました。
  論文  参考訳（メタデータ） (2021-06-16T00:27:56Z)
• KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding [0.0]
  概念的および曖昧な実体に対する知識グラフから知識コンテキストをトランスフォーマーアーキテクチャに基づくモデルに注入する手法を提案する。 私たちの新しい技術プロジェクト知識グラフは、同質ベクトル空間に埋め込み、エンティティのための新しいトークンタイプ、エンティティの位置IDの整列、および選択的注意メカニズムを導入します。 私たちはBERTをベースラインモデルとし、ConceptNetとWordNetから知識コンテキストを注入して「KnowledgeInfused BERT」を実装します。
  論文  参考訳（メタデータ） (2021-04-09T16:15:31Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention [37.111204321059084]
  両方向変換器に基づく単語と実体の事前学習した文脈表現を提案する。 我々のモデルは、BERTのマスキング言語モデルに基づく新しい事前訓練タスクを用いて訓練される。 また,変換器の自己認識機構の拡張である自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-02T15:38:03Z)
• Autoregressive Entity Retrieval [55.38027440347138]
  エンティティは、知識の表現と集約の方法の中心にあります。 クエリが与えられたエンティティを検索できることは、エンティティリンクやオープンドメインの質問応答のような知識集約的なタスクに基本となる。 本稿では,自己回帰方式でトークン・バイ・トークンを左から右に生成し,エンティティを検索する最初のシステムであるGENREを提案する。
  論文  参考訳（メタデータ） (2020-10-02T10:13:31Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)
• Learning Cross-Context Entity Representations from Text [9.981223356176496]
  本稿では,テキストコンテキストからエンティティのコンテキスト独立表現を学習するための補間タスクの利用について検討する。 ニューラルネットワークの大規模トレーニングによって,高品質な実体表現を学習できることが示される。 我々のグローバルな実体表現は、スコットランドのサッカー選手のようなきめ細かい型カテゴリをエンコードし、トリビアの質問に答えることができます。
  論文  参考訳（メタデータ） (2020-01-11T15:30:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。