論文の概要: GenTKG: Generative Forecasting on Temporal Knowledge Graph with Large Language Models

• arxiv url: http://arxiv.org/abs/2310.07793v5
• Date: Tue, 16 Apr 2024 18:35:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 19:30:24.086099
• Title: GenTKG: Generative Forecasting on Temporal Knowledge Graph with Large Language Models
• Title（参考訳）: GenTKG: 大規模言語モデルを用いた時間的知識グラフの生成予測
• Authors: Ruotong Liao, Xu Jia, Yangzhe Li, Yunpu Ma, Volker Tresp,
• Abstract要約: 大規模言語モデル (LLM) は、従来の埋め込みベースおよびルールベースの手法が支配する時間的知識グラフ (tKG) 領域に関心を抱いている。 本稿では、時間的論理ルールに基づく検索戦略と、パラメータ効率の少ない命令チューニングを組み合わせた、GenTKGという新しい検索拡張生成フレームワークを提案する。 実験により、GenTKGは計算資源の少ない時間的関係予測法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 35.594662986581746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancements in large language models (LLMs) have ignited interest in the temporal knowledge graph (tKG) domain, where conventional embedding-based and rule-based methods dominate. The question remains open of whether pre-trained LLMs can understand structured temporal relational data and replace them as the foundation model for temporal relational forecasting. Therefore, we bring temporal knowledge forecasting into the generative setting. However, challenges occur in the huge chasms between complex temporal graph data structure and sequential natural expressions LLMs can handle, and between the enormous data sizes of tKGs and heavy computation costs of finetuning LLMs. To address these challenges, we propose a novel retrieval-augmented generation framework named GenTKG combining a temporal logical rule-based retrieval strategy and few-shot parameter-efficient instruction tuning to solve the above challenges, respectively. Extensive experiments have shown that GenTKG outperforms conventional methods of temporal relational forecasting with low computation resources using extremely limited training data as few as 16 samples. GenTKG also highlights remarkable cross-domain generalizability with outperforming performance on unseen datasets without re-training, and in-domain generalizability regardless of time split in the same dataset. Our work reveals the huge potential of LLMs in the tKG domain and opens a new frontier for generative forecasting on tKGs. Code and data are released here: https://github.com/mayhugotong/GenTKG.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、従来の埋め込み型およびルールベースの手法が支配的な時間的知識グラフ(tKG)領域への関心を喚起している。 事前学習したLLMが構造化された時間的関係データを理解でき、時間的関係予測の基礎モデルとして置き換えられるかどうかには疑問が残る。 したがって、時間的知識予測を生成環境に導入する。 しかし、複雑な時間グラフデータ構造とLLMが扱える逐次自然表現との間の巨大な亀裂や、tKGの巨大なデータサイズとLLMを微調整する重い計算コストとの間には課題が生じる。 これらの課題に対処するために,時間的論理ルールに基づく探索戦略と,これらの課題を解決するためにパラメータ効率の少ない命令チューニングを併用した,GenTKGという新たな検索拡張生成フレームワークを提案する。 大規模な実験により、GenTKGは、非常に限られたトレーニングデータから16サンプルまで、計算資源の少ない時間的関係予測法よりも優れた性能を示した。 GenTKGはまた、再トレーニングなしで、目に見えないデータセットのパフォーマンスで優れたクロスドメインの一般化性と、同じデータセット内の時間分割に関わらず、ドメイン内の一般化性を強調している。 本研究は, tKG領域におけるLLMの潜在可能性を明らかにし, tKGの生成予測のための新たなフロンティアを開拓する。 コードとデータは、https://github.com/mayhugotong/GenTKG.comで公開されている。

関連論文リスト

• Retrieval-Augmented Generation Meets Data-Driven Tabula Rasa Approach for Temporal Knowledge Graph Forecasting [0.0]
  sLA-tKGFは、時間的知識グラフ(tKG)予測のための小規模言語アシスタントである。 本フレームワークは,tKGとWeb検索結果の履歴データを用いて,知識注入型プロンプトを構築する。 幻覚を減らし、時間とともに変化する傾向を理解することで分布シフトの課題を緩和する。
  論文  参考訳（メタデータ） (2024-08-18T11:52:24Z)
• A Comprehensive Evaluation of Large Language Models on Temporal Event Forecasting [45.0261082985087]
  時間的事象予測のための大規模言語モデル(LLM)を総合的に評価する。 LLMの入力に生テキストを直接統合しても、ゼロショット補間性能は向上しないことがわかった。 対照的に、特定の複雑なイベントや微調整LDMに生テキストを組み込むことで、性能が大幅に向上する。
  論文  参考訳（メタデータ） (2024-07-16T11:58:54Z)
• Large Language Models-guided Dynamic Adaptation for Temporal Knowledge Graph Reasoning [87.10396098919013]
  大規模言語モデル (LLM) は、時間的推論において広範な知識と卓越した能力を示した。 本稿では,時間的知識グラフに基づく推論のためのLarge Language Models-Guided Dynamic Adaptation (LLM-DA)法を提案する。 LLM-DAは、歴史的データを解析し、時間的論理規則を抽出するLLMの機能を利用する。
  論文  参考訳（メタデータ） (2024-05-23T04:54:37Z)
• GATGPT: A Pre-trained Large Language Model with Graph Attention Network for Spatiotemporal Imputation [19.371155159744934]
  実世界の環境では、センサーの故障やデータ転送エラーなどの問題により、そのようなデータには欠落する要素がしばしば含まれる。 時間的計算の目的は、観測された時系列における固有の空間的および時間的関係を理解することによって、これらの欠落値を推定することである。 伝統的に、複雑な時間的計算は特定のアーキテクチャに依存しており、適用可能性の制限と高い計算複雑性に悩まされている。 対照的に、我々のアプローチは、事前訓練された大規模言語モデル(LLM)を複雑な時間的インプットに統合し、画期的なフレームワークであるGATGPTを導入している。
  論文  参考訳（メタデータ） (2023-11-24T08:15:11Z)
• Graph-enabled Reinforcement Learning for Time Series Forecasting with Adaptive Intelligence [11.249626785206003]
  グラフニューラルネットワーク(GNN)と強化学習(RL)を用いたモニタリングによる時系列データの予測手法を提案する。 GNNは、データのグラフ構造をモデルに明示的に組み込むことができ、時間的依存関係をより自然な方法でキャプチャすることができる。 このアプローチは、医療、交通、天気予報など、複雑な時間構造におけるより正確な予測を可能にする。
  論文  参考訳（メタデータ） (2023-09-18T22:25:12Z)
• Correlation-aware Spatial-Temporal Graph Learning for Multivariate Time-series Anomaly Detection [67.60791405198063]
  時系列異常検出のための相関対応時空間グラフ学習(CST-GL)を提案する。 CST-GLは、多変量時系列相関学習モジュールを介してペアの相関を明示的にキャプチャする。 新規な異常スコアリング成分をCST-GLにさらに統合し、純粋に教師なしの方法で異常の度合いを推定する。
  論文  参考訳（メタデータ） (2023-07-17T11:04:27Z)
• TSGM: A Flexible Framework for Generative Modeling of Synthetic Time Series [61.436361263605114]
  時系列データは、研究者と産業組織間のデータの共有を妨げるため、しばしば不足または非常に敏感である。 本稿では,合成時系列の生成モデリングのためのオープンソースフレームワークである時系列生成モデリング(TSGM)を紹介する。
  論文  参考訳（メタデータ） (2023-05-19T10:11:21Z)
• Towards Generating Real-World Time Series Data [52.51620668470388]
  時系列データ生成のための新しい生成フレームワーク - RTSGANを提案する。 RTSGANは、時系列インスタンスと固定次元潜在ベクトルの間のマッピングを提供するエンコーダデコーダモジュールを学習する。 不足した値の時系列を生成するために、RTSGANに観測埋め込み層と決定・生成デコーダを更に装備する。
  論文  参考訳（メタデータ） (2021-11-16T11:31:37Z)
• Topology-based Clusterwise Regression for User Segmentation and Demand Forecasting [63.78344280962136]
  本研究は,パブリックおよび新規な商用データ集合を用いて,アナリストがユーザベースをクラスタリングし,詳細なレベルで需要を計画できることを示す。 本研究は,TDAに基づく時系列クラスタリングと行列因数分解法によるクラスタ回帰を実践者にとって実行可能なツールとして導入することを目的とする。
  論文  参考訳（メタデータ） (2020-09-08T12:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。