論文の概要: ECOLA: Enhanced Temporal Knowledge Embeddings with Contextualized Language Representations

• arxiv url: http://arxiv.org/abs/2203.09590v5
• Date: Thu, 4 May 2023 15:49:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 19:58:23.574127
• Title: ECOLA: Enhanced Temporal Knowledge Embeddings with Contextualized Language Representations
• Title（参考訳）: ECOLA: 文脈型言語表現を用いた時間的知識埋め込みの強化
• Authors: Zhen Han, Ruotong Liao, Jindong Gu, Yao Zhang, Zifeng Ding, Yujia Gu, Heinz K\"oppl, Hinrich Sch\"utze, Volker Tresp
• Abstract要約: テキストデータに埋め込まれた時間的知識の強化について検討する。 文脈型言語表現(ECOLA)を用いた時間的知識埋め込みを提案する。 実験の結果,ECOLAはリンク予測タスクにおいてHits@1に関して最大287%の相対的な改善を施し,時間的埋め込みモデルを大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 35.51427298619691
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since conventional knowledge embedding models cannot take full advantage of the abundant textual information, there have been extensive research efforts in enhancing knowledge embedding using texts. However, existing enhancement approaches cannot apply to temporal knowledge graphs (tKGs), which contain time-dependent event knowledge with complex temporal dynamics. Specifically, existing enhancement approaches often assume knowledge embedding is time-independent. In contrast, the entity embedding in tKG models usually evolves, which poses the challenge of aligning temporally relevant texts with entities. To this end, we propose to study enhancing temporal knowledge embedding with textual data in this paper. As an approach to this task, we propose Enhanced Temporal Knowledge Embeddings with Contextualized Language Representations (ECOLA), which takes the temporal aspect into account and injects textual information into temporal knowledge embedding. To evaluate ECOLA, we introduce three new datasets for training and evaluating ECOLA. Extensive experiments show that ECOLA significantly enhances temporal KG embedding models with up to 287% relative improvements regarding Hits@1 on the link prediction task. The code and models are publicly available on https://anonymous.4open.science/r/ECOLA.
• Abstract（参考訳）: 従来の知識埋め込みモデルは、豊富なテキスト情報を完全に活用できないため、テキストを用いた知識埋め込みを強化する研究が盛んに行われている。 しかし、既存の拡張アプローチは、複雑な時間的ダイナミクスを持つ時間依存イベント知識を含む時間的知識グラフ(tKG)には適用できない。 特に、既存の強化アプローチでは、知識の埋め込みは時間に依存しないとしばしば仮定している。 対照的に、tKGモデルに埋め込まれたエンティティは通常進化し、時間的に関係のあるテキストをエンティティと整合させることが課題となる。 そこで本研究では,テキストデータを用いた時間知識埋め込みの強化について検討する。 本課題へのアプローチとして,時間的側面を考慮した文脈的言語表現を用いた時間的知識埋め込み(ECOLA)を提案し,時間的知識埋め込みにテキスト情報を注入する。 ECOLAを評価するために,ECOLAのトレーニングと評価のための3つの新しいデータセットを導入する。 ECOLAは、リンク予測タスクにおいて、Hits@1に関する287%の相対的な改善により、時間的KG埋め込みモデルを大幅に向上することを示した。 コードとモデルはhttps://anonymous.4open.science/r/ECOLAで公開されている。

関連論文リスト

• ChroKnowledge: Unveiling Chronological Knowledge of Language Models in Multiple Domains [19.428141279030527]
  提案するChroKnowledgeは,大規模言語モデルの非パラメトリック時系列知識を評価・更新するための新しいサンプリングベースフレームワークである。 我々のフレームワークは、生物医学領域と一般領域の両方において、タイムライン全体にわたる全体的な知識の更新に成功した。 我々は,ChroKnowPromptの時間的特性に基づく包括的分析を行い,本質的な時間的知識を引き出すための様々なモデルの可能性を検証する。
  論文  参考訳（メタデータ） (2024-10-13T15:08:49Z)
• Large Language Models-guided Dynamic Adaptation for Temporal Knowledge Graph Reasoning [87.10396098919013]
  大規模言語モデル (LLM) は、時間的推論において広範な知識と卓越した能力を示した。 本稿では,時間的知識グラフに基づく推論のためのLarge Language Models-Guided Dynamic Adaptation (LLM-DA)法を提案する。 LLM-DAは、歴史的データを解析し、時間的論理規則を抽出するLLMの機能を利用する。
  論文  参考訳（メタデータ） (2024-05-23T04:54:37Z)
• Infusing Knowledge into Large Language Models with Contextual Prompts [5.865016596356753]
  入力テキスト中の文脈からプロンプトを生成することにより,知識注入のためのシンプルだが一般化可能なアプローチを提案する。 本実験は, 微調整LDMを用いて評価する手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-03T11:19:26Z)
• Remember This Event That Year? Assessing Temporal Information and Reasoning in Large Language Models [1.472789264981363]
  大規模言語モデル(LLM)はますます普及しているが、時間的情報を保持する能力と推論能力は依然として限られている。 本研究は,紀元前1万年から2100年の間,新しい数値時間データセットである textbfTempUN に関する12の最先端モデルを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-02-19T09:43:03Z)
• Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems [58.561904356651276]
  本稿では,対話型推薦システムのためのエンティティの意味理解を改善するために,知識強化型エンティティ表現学習(KERL)フレームワークを紹介する。 KERLは知識グラフと事前訓練された言語モデルを使用して、エンティティの意味的理解を改善する。 KERLはレコメンデーションとレスポンス生成の両方のタスクで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-12-18T06:41:23Z)
• CokeBERT: Contextual Knowledge Selection and Embedding towards Enhanced Pre-Trained Language Models [103.18329049830152]
  我々は,コンテキスト知識を動的に選択し,テキストコンテキストに応じて知識コンテキストを埋め込む,Cokeという新しいフレームワークを提案する。 実験の結果、コークは知識駆動型NLPタスクにおいて、様々なベースラインを上回ります。 コークは、テキスト関連の知識のセマンティクスを従来のPLMよりも解釈可能な形で記述することができる。
  論文  参考訳（メタデータ） (2020-09-29T12:29:04Z)
• Temporal Common Sense Acquisition with Minimal Supervision [77.8308414884754]
  この研究は、時間的常識の明示的で暗黙的な言及を活用する新しいシーケンスモデリング手法を提案する。 本手法は,時間的共通感覚の様々な次元の質予測を行う。 また、時間比較、親子関係、イベントコア参照、時間的QAなど、関連するタスクに対するイベントの表現も生成する。
  論文  参考訳（メタデータ） (2020-05-08T22:20:16Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。