論文の概要: Incorporating Structured Sentences with Time-enhanced BERT for Fully-inductive Temporal Relation Prediction

• arxiv url: http://arxiv.org/abs/2304.04717v1
• Date: Mon, 10 Apr 2023 17:22:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 14:14:37.768011
• Title: Incorporating Structured Sentences with Time-enhanced BERT for Fully-inductive Temporal Relation Prediction
• Title（参考訳）: 時間拡張BERTによる構造化文の完全帰納的時間関係予測
• Authors: Zhongwu Chen, Chengjin Xu, Fenglong Su, Zhen Huang, Yong Dou
• Abstract要約: 不完全な時間的知識(TKG)に時間的関係予測を組み込むことは、一般的な時間的知識グラフ補完(TKGC)問題である。 従来の埋め込みベースのTKGCモデルは構造化接続に依存しており、固定されたエンティティのみを扱うことができる。 本研究では、トレーニングとテストセットのエンティティが完全に不整合である完全帰納的設定をTKGに拡張する。 我々のモデルはエンティティ履歴を取得し、構造化文を符号化することで意味空間における規則を暗黙的に学習することができる。
• 参考スコア（独自算出の注目度）: 13.070974291417318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal relation prediction in incomplete temporal knowledge graphs (TKGs) is a popular temporal knowledge graph completion (TKGC) problem in both transductive and inductive settings. Traditional embedding-based TKGC models (TKGE) rely on structured connections and can only handle a fixed set of entities, i.e., the transductive setting. In the inductive setting where test TKGs contain emerging entities, the latest methods are based on symbolic rules or pre-trained language models (PLMs). However, they suffer from being inflexible and not time-specific, respectively. In this work, we extend the fully-inductive setting, where entities in the training and test sets are totally disjoint, into TKGs and take a further step towards a more flexible and time-sensitive temporal relation prediction approach SST-BERT, incorporating Structured Sentences with Time-enhanced BERT. Our model can obtain the entity history and implicitly learn rules in the semantic space by encoding structured sentences, solving the problem of inflexibility. We propose to use a time masking MLM task to pre-train BERT in a corpus rich in temporal tokens specially generated for TKGs, enhancing the time sensitivity of SST-BERT. To compute the probability of occurrence of a target quadruple, we aggregate all its structured sentences from both temporal and semantic perspectives into a score. Experiments on the transductive datasets and newly generated fully-inductive benchmarks show that SST-BERT successfully improves over state-of-the-art baselines.
• Abstract（参考訳）: 不完全な時間的知識グラフ(TKG)における時間的関係予測は、帰納的および帰納的の両方において一般的な時間的知識グラフ補完(TKGC)問題である。 従来の埋め込みベースのTKGCモデル(TKGE)は構造的接続に依存しており、固定されたエンティティ、すなわちトランスダクティブ設定しか扱えない。 テストtkgが新たなエンティティを含む帰納的設定では、最新のメソッドはシンボリックルールまたは事前学習言語モデル(plm)に基づいている。 しかし、それらはそれぞれ柔軟性がなく、時間固有のものではない。 本研究では、学習セットとテストセットのエンティティが完全に解離した完全帰納的設定をTKGに拡張し、より柔軟で時間に敏感な時間的関係予測アプローチSST-BERTに向けてさらに一歩踏み込み、構造化文を時間拡張BERTに組み込む。 本モデルでは,構造的文を符号化することで,エンティティ履歴を取得し,意味空間のルールを暗黙的に学習し,柔軟性の問題を解く。 SST-BERTの時間感度を高めるため、時間マスキングMLMタスクを用いて、TKGに特化して生成される時間トークンを多く含むコーパスでBERTを事前訓練することを提案する。 対象の四重項の発生確率を計算するため,時間的・意味的な両視点から構造化された文をすべてスコアに集約する。 トランスダクティブデータセットと新たに生成されたフルインダクティブベンチマークの実験によると、SST-BERTは最先端のベースラインよりも改善されている。

関連論文リスト

• Large Language Models-guided Dynamic Adaptation for Temporal Knowledge Graph Reasoning [87.10396098919013]
  大規模言語モデル (LLM) は、時間的推論において広範な知識と卓越した能力を示した。 本稿では,時間的知識グラフに基づく推論のためのLarge Language Models-Guided Dynamic Adaptation (LLM-DA)法を提案する。 LLM-DAは、歴史的データを解析し、時間的論理規則を抽出するLLMの機能を利用する。
  論文  参考訳（メタデータ） (2024-05-23T04:54:37Z)
• Deja vu: Contrastive Historical Modeling with Prefix-tuning for Temporal Knowledge Graph Reasoning [16.408149489677154]
  ChapTERは、テンポラル推論のためのプレフィックスチューニングを備えたコントラスト歴史モデリングフレームワークである。 我々は4つのトランスダクティブと3つの数ショットインダクティブTKGRベンチマークでChapTERを評価した。
  論文  参考訳（メタデータ） (2024-03-25T17:25:40Z)
• GenTKG: Generative Forecasting on Temporal Knowledge Graph with Large Language Models [35.594662986581746]
  大規模言語モデル (LLM) は、従来の埋め込みベースおよびルールベースの手法が支配する時間的知識グラフ (tKG) 領域に関心を抱いている。 本稿では、時間的論理ルールに基づく検索戦略と、パラメータ効率の少ない命令チューニングを組み合わせた、GenTKGという新しい検索拡張生成フレームワークを提案する。 実験により、GenTKGは計算資源の少ない時間的関係予測法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-11T18:27:12Z)
• Leveraging Pre-trained Language Models for Time Interval Prediction in Text-Enhanced Temporal Knowledge Graphs [1.4916971861796382]
  本稿では,テキスト強調時間知識グラフ補完のための事前学習言語モデル(PLM)のパワーを利用するTEMTという新しいフレームワークを提案する。 従来のアプローチとは異なり、TEMTは異なる時間ポイント間の依存関係を効果的にキャプチャし、目に見えないエンティティの予測を可能にする。
  論文  参考訳（メタデータ） (2023-09-28T11:43:49Z)
• NeuSTIP: A Novel Neuro-Symbolic Model for Link and Time Prediction in Temporal Knowledge Graphs [13.442923127130806]
  本稿では,時間的知識グラフにおけるリンク予測と時間間隔予測を行う新しい時間的ニューロシンボリックモデルNeuSTIPを提案する。 NeuSTIPは、隣接する述語間の時間的一貫性を保証するアレン述語の存在下で時間的規則を学習する。 2つの時間間隔に基づくデータセットに対する実験的な評価は、リンク予測と時間間隔予測の両方において、我々のモデルが最先端のモデルより優れていることを示唆している。
  論文  参考訳（メタデータ） (2023-05-15T13:46:34Z)
• Self-Supervised Temporal Graph learning with Temporal and Structural Intensity Alignment [53.72873672076391]
  時間グラフ学習は、動的情報を用いたグラフベースのタスクのための高品質な表現を生成することを目的としている。 本稿では,時間的および構造的情報の両方を抽出する時間的グラフ学習のためのS2Tという自己教師型手法を提案する。 S2Tは、いくつかのデータセットにおける最先端の競合と比較して、少なくとも10.13%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-02-15T06:36:04Z)
• Meta-Learning Based Knowledge Extrapolation for Temporal Knowledge Graph [4.103806361930888]
  時間的KG(TKG)は、静的トリプルとタイムスタンプを関連付けることで従来の知識グラフを拡張する。 本稿では,メタラーニングに基づく時間知識グラフ外挿法(MTKGE)モデルを提案する。 MTKGEは知識グラフ外挿法において既存の最先端モデルよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T09:52:26Z)
• Generic Temporal Reasoning with Differential Analysis and Explanation [61.96034987217583]
  時間差分解析でギャップを埋めるTODAYという新しいタスクを導入する。 TODAYは、システムがインクリメンタルな変化の効果を正しく理解できるかどうかを評価する。 共同学習においてTODAYの指導スタイルと説明アノテーションが有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T17:40:03Z)
• Temporal Knowledge Graph Reasoning Based on Evolutional Representation Learning [59.004025528223025]
  将来の事実を予測する鍵は、歴史的事実を徹底的に理解することです。 TKGは実際には異なるタイムスタンプに対応するKGのシーケンスである。 グラフ畳み込みネットワーク(GCN)に基づく新しいリカレント進化ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-04-21T05:12:21Z)
• Inductive Learning on Commonsense Knowledge Graph Completion [89.72388313527296]
  コモンセンス知識グラフ(英: Commonsense Knowledge graph、CKG)は、知識グラフ(英: knowledge graph、CKG)の一種。 本稿では,未確認のエンティティがテスト時に現れるCKG完了のための帰納学習環境について検討する。 InductivEは、ATOMICとConceptNetベンチマークの標準設定とインダクティブ設定の両方において、最先端のベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2020-09-19T16:10:26Z)
• Temporal Common Sense Acquisition with Minimal Supervision [77.8308414884754]
  この研究は、時間的常識の明示的で暗黙的な言及を活用する新しいシーケンスモデリング手法を提案する。 本手法は,時間的共通感覚の様々な次元の質予測を行う。 また、時間比較、親子関係、イベントコア参照、時間的QAなど、関連するタスクに対するイベントの表現も生成する。
  論文  参考訳（メタデータ） (2020-05-08T22:20:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。