論文の概要: Enhanced Temporal Knowledge Embeddings with Contextualized Language
Representations
- arxiv url: http://arxiv.org/abs/2203.09590v2
- Date: Mon, 21 Mar 2022 17:13:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 11:10:31.845245
- Title: Enhanced Temporal Knowledge Embeddings with Contextualized Language
Representations
- Title(参考訳): 文脈化言語表現を用いた時間知識埋め込みの強化
- Authors: Zhen Han, Ruotong Liao, Beiyan Liu, Yao Zhang, Zifeng Ding, Heinz
K\"oppl, Hinrich Sch\"utze, Volker Tresp
- Abstract要約: 我々は、textbfcontextualized textbflang representations (ECOLA) を用いた時間的知識埋め込みの強化に焦点をあてる。
記述から豊富な情報を時間的知識埋め込みに注入する新しい知識テキスト予測タスクを提案する。
実験により、ECOLAは最先端の時間的KGモデルよりも大きなマージンで優れていることが示された。
- 参考スコア(独自算出の注目度): 28.307473066336076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the emerging research effort to integrate structured and unstructured
knowledge, many approaches incorporate factual knowledge into pre-trained
language models (PLMs) and apply the knowledge-enhanced PLMs on downstream NLP
tasks. However, (1) they only consider static factual knowledge, but knowledge
graphs (KGs) also contain temporal facts or events indicating evolutionary
relationships among entities at different timestamps. (2) PLMs cannot be
directly applied to many KG tasks, such as temporal KG completion.
In this paper, we focus on \textbf{e}nhancing temporal knowledge embeddings
with \textbf{co}ntextualized \textbf{la}nguage representations (ECOLA). We
align structured knowledge contained in temporal knowledge graphs with their
textual descriptions extracted from news articles and propose a novel
knowledge-text prediction task to inject the abundant information from
descriptions into temporal knowledge embeddings. ECOLA jointly optimizes the
knowledge-text prediction objective and the temporal knowledge embeddings,
which can simultaneously take full advantage of textual and knowledge
information. For training ECOLA, we introduce three temporal KG datasets with
aligned textual descriptions. Experimental results on the temporal knowledge
graph completion task show that ECOLA outperforms state-of-the-art temporal KG
models by a large margin. The proposed datasets can serve as new temporal KG
benchmarks and facilitate future research on structured and unstructured
knowledge integration.
- Abstract(参考訳): 構造化された知識と非構造化された知識を統合する新しい研究の取り組みにより、多くのアプローチが事実知識を事前訓練された言語モデル(PLM)に組み入れ、下流のNLPタスクに知識強化PLMを適用する。
しかし、(1)静的な事実知識のみを考慮するが、知識グラフ(KG)には時間的事実や、異なるタイムスタンプにおける実体間の進化的関係を示す事象も含まれる。
2) PLMは時間的KG完了などの多くのKGタスクに直接適用できない。
本稿では,<textbf{e}nhancing temporal knowledge embeddeds with \textbf{co}ntextualized \textbf{la}nguage representations (ECOLA)について述べる。
本研究では,時間知識グラフに含まれる構造化知識をニュース記事から抽出した文章記述と整合させ,記述から豊富な情報を時間知識埋め込みに注入する新しい知識テキスト予測タスクを提案する。
ECOLAは、知識テキスト予測目標と時間的知識埋め込みを共同で最適化し、テキストと知識情報を最大限に活用することができる。
ECOLAのトレーニングには,テキスト記述を整列した3つの時間的KGデータセットを導入する。
時間的知識グラフ完成タスクの実験結果は,ecolaが最先端の時間的kgモデルを上回ることを示した。
提案したデータセットは、新しい時間的KGベンチマークとして機能し、構造化知識と非構造化知識の統合に関する将来の研究を促進する。
関連論文リスト
- Infusing Knowledge into Large Language Models with Contextual Prompts [5.865016596356753]
入力テキスト中の文脈からプロンプトを生成することにより,知識注入のためのシンプルだが一般化可能なアプローチを提案する。
本実験は, 微調整LDMを用いて評価する手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-03T11:19:26Z) - Knowledge Graphs and Pre-trained Language Models enhanced Representation
Learning for Conversational Recommender Systems [63.974673451117226]
本稿では,対話型推薦システムのためのエンティティの意味理解を改善するために,知識強化型エンティティ表現学習(KERL)フレームワークを紹介する。
KERLは知識グラフと事前訓練された言語モデルを使用して、エンティティの意味的理解を改善する。
KERLはレコメンデーションとレスポンス生成の両方のタスクで最先端の結果を達成する。
論文 参考訳(メタデータ) (2023-12-18T06:41:23Z) - Leveraging Pre-trained Language Models for Time Interval Prediction in
Text-Enhanced Temporal Knowledge Graphs [1.4916971861796382]
本稿では,テキスト強調時間知識グラフ補完のための事前学習言語モデル(PLM)のパワーを利用するTEMTという新しいフレームワークを提案する。
従来のアプローチとは異なり、TEMTは異なる時間ポイント間の依存関係を効果的にキャプチャし、目に見えないエンティティの予測を可能にする。
論文 参考訳(メタデータ) (2023-09-28T11:43:49Z) - KELM: Knowledge Enhanced Pre-Trained Language Representations with
Message Passing on Hierarchical Relational Graphs [26.557447199727758]
本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。
我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
論文 参考訳(メタデータ) (2021-09-09T12:39:17Z) - CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
文脈型言語と知識埋め込み(CoLAKE)を提案する。
CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。
知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
論文 参考訳(メタデータ) (2020-10-01T11:39:32Z) - CokeBERT: Contextual Knowledge Selection and Embedding towards Enhanced
Pre-Trained Language Models [103.18329049830152]
我々は,コンテキスト知識を動的に選択し,テキストコンテキストに応じて知識コンテキストを埋め込む,Cokeという新しいフレームワークを提案する。
実験の結果、コークは知識駆動型NLPタスクにおいて、様々なベースラインを上回ります。
コークは、テキスト関連の知識のセマンティクスを従来のPLMよりも解釈可能な形で記述することができる。
論文 参考訳(メタデータ) (2020-09-29T12:29:04Z) - Temporal Common Sense Acquisition with Minimal Supervision [77.8308414884754]
この研究は、時間的常識の明示的で暗黙的な言及を活用する新しいシーケンスモデリング手法を提案する。
本手法は,時間的共通感覚の様々な次元の質予測を行う。
また、時間比較、親子関係、イベントコア参照、時間的QAなど、関連するタスクに対するイベントの表現も生成する。
論文 参考訳(メタデータ) (2020-05-08T22:20:16Z) - Generative Adversarial Zero-Shot Relational Learning for Knowledge
Graphs [96.73259297063619]
我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。
新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。
我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
論文 参考訳(メタデータ) (2020-01-08T01:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。