論文の概要: Enhanced Temporal Knowledge Embeddings with Contextualized Language Representations

• arxiv url: http://arxiv.org/abs/2203.09590v1
• Date: Thu, 17 Mar 2022 20:08:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 09:16:02.481813
• Title: Enhanced Temporal Knowledge Embeddings with Contextualized Language Representations
• Title（参考訳）: 文脈化言語表現を用いた時間知識埋め込みの強化
• Authors: Zhen Han, Ruotong Liao, Beiyan Liu, Yao Zhang, Zifeng Ding, Heinz K\"oppl, Hinrich Sch\"utze, Volker Tresp
• Abstract要約: 我々は、textbfcontextualized textbflang representations (ECOLA) を用いた時間的知識埋め込みの強化に焦点をあてる。 記述から豊富な情報を時間的知識埋め込みに注入する新しい知識テキスト予測タスクを提案する。 実験により、ECOLAは最先端の時間的KGモデルよりも大きなマージンで優れていることが示された。
• 参考スコア（独自算出の注目度）: 28.307473066336076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the emerging research effort to integrate structured and unstructured knowledge, many approaches incorporate factual knowledge into pre-trained language models (PLMs) and apply the knowledge-enhanced PLMs on downstream NLP tasks. However, (1) they only consider \textit{static} factual knowledge, but knowledge graphs (KGs) also contain \textit{temporal facts} or \textit{events} indicating evolutionary relationships among entities at different timestamps. (2) PLMs cannot be directly applied to many KG tasks, such as temporal KG completion. In this paper, we focus on \textbf{e}nhancing temporal knowledge embeddings with \textbf{co}ntextualized \textbf{la}nguage representations (ECOLA). We align structured knowledge contained in temporal knowledge graphs with their textual descriptions extracted from news articles and propose a novel knowledge-text prediction task to inject the abundant information from descriptions into temporal knowledge embeddings. ECOLA jointly optimizes the knowledge-text prediction objective and the temporal knowledge embeddings, which can simultaneously take full advantage of textual and knowledge information. For training ECOLA, we introduce three temporal KG datasets with aligned textual descriptions. Experimental results on the temporal knowledge graph completion task show that ECOLA outperforms state-of-the-art temporal KG models by a large margin. The proposed datasets can serve as new temporal KG benchmarks and facilitate future research on structured and unstructured knowledge integration.
• Abstract（参考訳）: 構造化された知識と非構造化された知識を統合する新しい研究の取り組みにより、多くのアプローチが事実知識を事前訓練された言語モデル(PLM)に組み入れ、下流のNLPタスクに知識強化PLMを適用する。 しかしながら、(1) 事実知識のみを考察するが、知識グラフ (KGs) には異なるタイムスタンプの実体間の進化的関係を示す \textit{temporal facts} や \textit{events} も含んでいる。 2) PLMは時間的KG完了などの多くのKGタスクに直接適用できない。 本稿では,<textbf{e}nhancing temporal knowledge embeddeds with \textbf{co}ntextualized \textbf{la}nguage representations (ECOLA)について述べる。 本研究では,時間知識グラフに含まれる構造化知識をニュース記事から抽出した文章記述と整合させ,記述から豊富な情報を時間知識埋め込みに注入する新しい知識テキスト予測タスクを提案する。 ECOLAは、知識テキスト予測目標と時間的知識埋め込みを共同で最適化し、テキストと知識情報を最大限に活用することができる。 ECOLAのトレーニングには,テキスト記述を整列した3つの時間的KGデータセットを導入する。 時間的知識グラフ完成タスクの実験結果は,ecolaが最先端の時間的kgモデルを上回ることを示した。 提案したデータセットは、新しい時間的KGベンチマークとして機能し、構造化知識と非構造化知識の統合に関する将来の研究を促進する。

関連論文リスト

• ChroKnowledge: Unveiling Chronological Knowledge of Language Models in Multiple Domains [19.428141279030527]
  提案するChroKnowledgeは,大規模言語モデルの非パラメトリック時系列知識を評価・更新するための新しいサンプリングベースフレームワークである。 我々のフレームワークは、生物医学領域と一般領域の両方において、タイムライン全体にわたる全体的な知識の更新に成功した。 我々は,ChroKnowPromptの時間的特性に基づく包括的分析を行い,本質的な時間的知識を引き出すための様々なモデルの可能性を検証する。
  論文  参考訳（メタデータ） (2024-10-13T15:08:49Z)
• Large Language Models-guided Dynamic Adaptation for Temporal Knowledge Graph Reasoning [87.10396098919013]
  大規模言語モデル (LLM) は、時間的推論において広範な知識と卓越した能力を示した。 本稿では,時間的知識グラフに基づく推論のためのLarge Language Models-Guided Dynamic Adaptation (LLM-DA)法を提案する。 LLM-DAは、歴史的データを解析し、時間的論理規則を抽出するLLMの機能を利用する。
  論文  参考訳（メタデータ） (2024-05-23T04:54:37Z)
• Infusing Knowledge into Large Language Models with Contextual Prompts [5.865016596356753]
  入力テキスト中の文脈からプロンプトを生成することにより,知識注入のためのシンプルだが一般化可能なアプローチを提案する。 本実験は, 微調整LDMを用いて評価する手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-03T11:19:26Z)
• Remember This Event That Year? Assessing Temporal Information and Reasoning in Large Language Models [1.472789264981363]
  大規模言語モデル(LLM)はますます普及しているが、時間的情報を保持する能力と推論能力は依然として限られている。 本研究は,紀元前1万年から2100年の間,新しい数値時間データセットである textbfTempUN に関する12の最先端モデルを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-02-19T09:43:03Z)
• Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems [58.561904356651276]
  本稿では,対話型推薦システムのためのエンティティの意味理解を改善するために,知識強化型エンティティ表現学習(KERL)フレームワークを紹介する。 KERLは知識グラフと事前訓練された言語モデルを使用して、エンティティの意味的理解を改善する。 KERLはレコメンデーションとレスポンス生成の両方のタスクで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-12-18T06:41:23Z)
• CokeBERT: Contextual Knowledge Selection and Embedding towards Enhanced Pre-Trained Language Models [103.18329049830152]
  我々は,コンテキスト知識を動的に選択し,テキストコンテキストに応じて知識コンテキストを埋め込む,Cokeという新しいフレームワークを提案する。 実験の結果、コークは知識駆動型NLPタスクにおいて、様々なベースラインを上回ります。 コークは、テキスト関連の知識のセマンティクスを従来のPLMよりも解釈可能な形で記述することができる。
  論文  参考訳（メタデータ） (2020-09-29T12:29:04Z)
• Temporal Common Sense Acquisition with Minimal Supervision [77.8308414884754]
  この研究は、時間的常識の明示的で暗黙的な言及を活用する新しいシーケンスモデリング手法を提案する。 本手法は,時間的共通感覚の様々な次元の質予測を行う。 また、時間比較、親子関係、イベントコア参照、時間的QAなど、関連するタスクに対するイベントの表現も生成する。
  論文  参考訳（メタデータ） (2020-05-08T22:20:16Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。