論文の概要: ECOLA: Enhanced Temporal Knowledge Embeddings with Contextualized
Language Representations
- arxiv url: http://arxiv.org/abs/2203.09590v5
- Date: Thu, 4 May 2023 15:49:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-05 19:58:23.574127
- Title: ECOLA: Enhanced Temporal Knowledge Embeddings with Contextualized
Language Representations
- Title(参考訳): ECOLA: 文脈型言語表現を用いた時間的知識埋め込みの強化
- Authors: Zhen Han, Ruotong Liao, Jindong Gu, Yao Zhang, Zifeng Ding, Yujia Gu,
Heinz K\"oppl, Hinrich Sch\"utze, Volker Tresp
- Abstract要約: テキストデータに埋め込まれた時間的知識の強化について検討する。
文脈型言語表現(ECOLA)を用いた時間的知識埋め込みを提案する。
実験の結果,ECOLAはリンク予測タスクにおいてHits@1に関して最大287%の相対的な改善を施し,時間的埋め込みモデルを大幅に向上することが示された。
- 参考スコア(独自算出の注目度): 35.51427298619691
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Since conventional knowledge embedding models cannot take full advantage of
the abundant textual information, there have been extensive research efforts in
enhancing knowledge embedding using texts. However, existing enhancement
approaches cannot apply to temporal knowledge graphs (tKGs), which contain
time-dependent event knowledge with complex temporal dynamics. Specifically,
existing enhancement approaches often assume knowledge embedding is
time-independent. In contrast, the entity embedding in tKG models usually
evolves, which poses the challenge of aligning temporally relevant texts with
entities. To this end, we propose to study enhancing temporal knowledge
embedding with textual data in this paper. As an approach to this task, we
propose Enhanced Temporal Knowledge Embeddings with Contextualized Language
Representations (ECOLA), which takes the temporal aspect into account and
injects textual information into temporal knowledge embedding. To evaluate
ECOLA, we introduce three new datasets for training and evaluating ECOLA.
Extensive experiments show that ECOLA significantly enhances temporal KG
embedding models with up to 287% relative improvements regarding Hits@1 on the
link prediction task. The code and models are publicly available on
https://anonymous.4open.science/r/ECOLA.
- Abstract(参考訳): 従来の知識埋め込みモデルは、豊富なテキスト情報を完全に活用できないため、テキストを用いた知識埋め込みを強化する研究が盛んに行われている。
しかし、既存の拡張アプローチは、複雑な時間的ダイナミクスを持つ時間依存イベント知識を含む時間的知識グラフ(tKG)には適用できない。
特に、既存の強化アプローチでは、知識の埋め込みは時間に依存しないとしばしば仮定している。
対照的に、tKGモデルに埋め込まれたエンティティは通常進化し、時間的に関係のあるテキストをエンティティと整合させることが課題となる。
そこで本研究では,テキストデータを用いた時間知識埋め込みの強化について検討する。
本課題へのアプローチとして,時間的側面を考慮した文脈的言語表現を用いた時間的知識埋め込み(ECOLA)を提案し,時間的知識埋め込みにテキスト情報を注入する。
ECOLAを評価するために,ECOLAのトレーニングと評価のための3つの新しいデータセットを導入する。
ECOLAは、リンク予測タスクにおいて、Hits@1に関する287%の相対的な改善により、時間的KG埋め込みモデルを大幅に向上することを示した。
コードとモデルはhttps://anonymous.4open.science/r/ECOLAで公開されている。
関連論文リスト
- Infusing Knowledge into Large Language Models with Contextual Prompts [5.865016596356753]
入力テキスト中の文脈からプロンプトを生成することにより,知識注入のためのシンプルだが一般化可能なアプローチを提案する。
本実験は, 微調整LDMを用いて評価する手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-03T11:19:26Z) - Knowledge Graphs and Pre-trained Language Models enhanced Representation
Learning for Conversational Recommender Systems [63.974673451117226]
本稿では,対話型推薦システムのためのエンティティの意味理解を改善するために,知識強化型エンティティ表現学習(KERL)フレームワークを紹介する。
KERLは知識グラフと事前訓練された言語モデルを使用して、エンティティの意味的理解を改善する。
KERLはレコメンデーションとレスポンス生成の両方のタスクで最先端の結果を達成する。
論文 参考訳(メタデータ) (2023-12-18T06:41:23Z) - Leveraging Pre-trained Language Models for Time Interval Prediction in
Text-Enhanced Temporal Knowledge Graphs [1.4916971861796382]
本稿では,テキスト強調時間知識グラフ補完のための事前学習言語モデル(PLM)のパワーを利用するTEMTという新しいフレームワークを提案する。
従来のアプローチとは異なり、TEMTは異なる時間ポイント間の依存関係を効果的にキャプチャし、目に見えないエンティティの予測を可能にする。
論文 参考訳(メタデータ) (2023-09-28T11:43:49Z) - KELM: Knowledge Enhanced Pre-Trained Language Representations with
Message Passing on Hierarchical Relational Graphs [26.557447199727758]
本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。
我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
論文 参考訳(メタデータ) (2021-09-09T12:39:17Z) - CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
文脈型言語と知識埋め込み(CoLAKE)を提案する。
CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。
知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
論文 参考訳(メタデータ) (2020-10-01T11:39:32Z) - CokeBERT: Contextual Knowledge Selection and Embedding towards Enhanced
Pre-Trained Language Models [103.18329049830152]
我々は,コンテキスト知識を動的に選択し,テキストコンテキストに応じて知識コンテキストを埋め込む,Cokeという新しいフレームワークを提案する。
実験の結果、コークは知識駆動型NLPタスクにおいて、様々なベースラインを上回ります。
コークは、テキスト関連の知識のセマンティクスを従来のPLMよりも解釈可能な形で記述することができる。
論文 参考訳(メタデータ) (2020-09-29T12:29:04Z) - Temporal Common Sense Acquisition with Minimal Supervision [77.8308414884754]
この研究は、時間的常識の明示的で暗黙的な言及を活用する新しいシーケンスモデリング手法を提案する。
本手法は,時間的共通感覚の様々な次元の質予測を行う。
また、時間比較、親子関係、イベントコア参照、時間的QAなど、関連するタスクに対するイベントの表現も生成する。
論文 参考訳(メタデータ) (2020-05-08T22:20:16Z) - Generative Adversarial Zero-Shot Relational Learning for Knowledge
Graphs [96.73259297063619]
我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。
新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。
我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
論文 参考訳(メタデータ) (2020-01-08T01:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。