論文の概要: Evaluating the Impact of Knowledge Graph Context on Entity Disambiguation Models

• arxiv url: http://arxiv.org/abs/2008.05190v3
• Date: Sun, 30 Aug 2020 08:58:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 04:37:22.721000
• Title: Evaluating the Impact of Knowledge Graph Context on Entity Disambiguation Models
• Title（参考訳）: 知識グラフコンテキストがエンティティの曖昧さモデルに及ぼす影響の評価
• Authors: Isaiah Onando Mulang', Kuldeep Singh, Chaitali Prabhu, Abhishek Nadgeri, Johannes Hoffart, Jens Lehmann
• Abstract要約: 我々は、知識グラフ(私たちの場合、Wikidata)から派生したコンテキストが、事前学習されたトランスフォーマーモデルに十分な信号を提供すると論じている。 さらに,提案したKGコンテキストがWikipediaで標準化可能であることを仮定し,KGコンテキストがWikipedia知識ベースにおける最先端NEDモデルに与える影響を評価する。
• 参考スコア（独自算出の注目度）: 12.656207178909542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained Transformer models have emerged as state-of-the-art approaches that learn contextual information from text to improve the performance of several NLP tasks. These models, albeit powerful, still require specialized knowledge in specific scenarios. In this paper, we argue that context derived from a knowledge graph (in our case: Wikidata) provides enough signals to inform pretrained transformer models and improve their performance for named entity disambiguation (NED) on Wikidata KG. We further hypothesize that our proposed KG context can be standardized for Wikipedia, and we evaluate the impact of KG context on state-of-the-art NED model for the Wikipedia knowledge base. Our empirical results validate that the proposed KG context can be generalized (for Wikipedia), and providing KG context in transformer architectures considerably outperforms the existing baselines, including the vanilla transformer models.
• Abstract（参考訳）: 事前訓練されたトランスフォーマーモデルは、テキストから文脈情報を学習し、いくつかのNLPタスクの性能を改善する最先端のアプローチとして登場した。 これらのモデルは強力ではあるが、特定のシナリオで特別な知識を必要とする。 本稿では、知識グラフ(ウィキデータ)から派生したコンテキストが、事前学習されたトランスフォーマーモデルに十分な信号を提供し、Wikidata KG上の名前付きエンティティ曖昧化(NED)の性能を向上させることを論じる。 さらに,提案したKGコンテキストがWikipediaで標準化可能であることを仮定し,KGコンテキストがWikipedia知識ベースにおける最先端NEDモデルに与える影響を評価する。 実験の結果,提案したKGコンテキストを一般化し(ウィキペディア用),変圧器アーキテクチャにおけるKGコンテキストの提供は,バニラ変圧器モデルを含む既存のベースラインをかなり上回っていることがわかった。

関連論文リスト

• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems [58.561904356651276]
  本稿では,対話型推薦システムのためのエンティティの意味理解を改善するために,知識強化型エンティティ表現学習(KERL)フレームワークを紹介する。 KERLは知識グラフと事前訓練された言語モデルを使用して、エンティティの意味的理解を改善する。 KERLはレコメンデーションとレスポンス生成の両方のタスクで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-12-18T06:41:23Z)
• Wikiformer: Pre-training with Structured Information of Wikipedia for Ad-hoc Retrieval [21.262531222066208]
  本稿では,ウィキペディアの構造的知識に基づいて,情報検索タスクに適した4つの事前学習目標を考案する。 既存の事前学習手法と比較して,本手法はトレーニングコーパスにおける意味的知識をよりよく捉えることができる。 生物医学・法学領域における実験結果から,本手法は垂直領域において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-12-17T09:31:47Z)
• Unifying Structure and Language Semantic for Efficient Contrastive Knowledge Graph Completion with Structured Entity Anchors [0.3913403111891026]
  知識グラフ補完(KGC)の目標は、すでに知られている訓練された事実を用いて、KGの欠落したリンクを予測することである。 本稿では,帰納的推論の力を失うことなく,構造情報と言語意味を効果的に統一する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T11:17:55Z)
• Pre-training Transformers for Knowledge Graph Completion [81.4078733132239]
  知識グラフの伝達可能な表現を学習するための新しい帰納的KG表現モデル(iHT)を提案する。 iHT はエンティティエンコーダ (BERT など) と、Transformer によってパラメータ化される隣り合うリレーショナルスコアリング関数からなる。 提案手法は,従来のSOTAモデルに比べて25%以上の相対的相互ランクの改善が得られた。
  論文  参考訳（メタデータ） (2023-03-28T02:10:37Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding [0.0]
  概念的および曖昧な実体に対する知識グラフから知識コンテキストをトランスフォーマーアーキテクチャに基づくモデルに注入する手法を提案する。 私たちの新しい技術プロジェクト知識グラフは、同質ベクトル空間に埋め込み、エンティティのための新しいトークンタイプ、エンティティの位置IDの整列、および選択的注意メカニズムを導入します。 私たちはBERTをベースラインモデルとし、ConceptNetとWordNetから知識コンテキストを注入して「KnowledgeInfused BERT」を実装します。
  論文  参考訳（メタデータ） (2021-04-09T16:15:31Z)
• Knowledge Graph Based Synthetic Corpus Generation for Knowledge-Enhanced Language Model Pre-training [22.534866015730664]
  我々は全英Wikidata KGを言語化した。 Wikidataのような包括的で百科事典的なKGを言語化することで、構造化されたKGと自然言語コーパスを統合することができることを示す。
  論文  参考訳（メタデータ） (2020-10-23T22:14:50Z)
• Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
  テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
  論文  参考訳（メタデータ） (2020-10-05T11:21:59Z)
• GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction [134.5580003327839]
  本稿では、文書レベルでコンテキストをモデル化するための生成トランスフォーマーベースのエンコーダデコーダフレームワーク(GRIT)を紹介する。 我々は,MUC-4データセットに対する我々のアプローチを評価し,我々のモデルが先行作業よりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-21T01:07:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。