論文の概要: GenTKG: Generative Forecasting on Temporal Knowledge Graph with Large Language Models
- arxiv url: http://arxiv.org/abs/2310.07793v5
- Date: Tue, 16 Apr 2024 18:35:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 19:30:24.086099
- Title: GenTKG: Generative Forecasting on Temporal Knowledge Graph with Large Language Models
- Title(参考訳): GenTKG: 大規模言語モデルを用いた時間的知識グラフの生成予測
- Authors: Ruotong Liao, Xu Jia, Yangzhe Li, Yunpu Ma, Volker Tresp,
- Abstract要約: 大規模言語モデル (LLM) は、従来の埋め込みベースおよびルールベースの手法が支配する時間的知識グラフ (tKG) 領域に関心を抱いている。
本稿では、時間的論理ルールに基づく検索戦略と、パラメータ効率の少ない命令チューニングを組み合わせた、GenTKGという新しい検索拡張生成フレームワークを提案する。
実験により、GenTKGは計算資源の少ない時間的関係予測法よりも優れていることが示された。
- 参考スコア(独自算出の注目度): 35.594662986581746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid advancements in large language models (LLMs) have ignited interest in the temporal knowledge graph (tKG) domain, where conventional embedding-based and rule-based methods dominate. The question remains open of whether pre-trained LLMs can understand structured temporal relational data and replace them as the foundation model for temporal relational forecasting. Therefore, we bring temporal knowledge forecasting into the generative setting. However, challenges occur in the huge chasms between complex temporal graph data structure and sequential natural expressions LLMs can handle, and between the enormous data sizes of tKGs and heavy computation costs of finetuning LLMs. To address these challenges, we propose a novel retrieval-augmented generation framework named GenTKG combining a temporal logical rule-based retrieval strategy and few-shot parameter-efficient instruction tuning to solve the above challenges, respectively. Extensive experiments have shown that GenTKG outperforms conventional methods of temporal relational forecasting with low computation resources using extremely limited training data as few as 16 samples. GenTKG also highlights remarkable cross-domain generalizability with outperforming performance on unseen datasets without re-training, and in-domain generalizability regardless of time split in the same dataset. Our work reveals the huge potential of LLMs in the tKG domain and opens a new frontier for generative forecasting on tKGs. Code and data are released here: https://github.com/mayhugotong/GenTKG.
- Abstract(参考訳): 大規模言語モデル(LLM)の急速な進歩は、従来の埋め込み型およびルールベースの手法が支配的な時間的知識グラフ(tKG)領域への関心を喚起している。
事前学習したLLMが構造化された時間的関係データを理解でき、時間的関係予測の基礎モデルとして置き換えられるかどうかには疑問が残る。
したがって、時間的知識予測を生成環境に導入する。
しかし、複雑な時間グラフデータ構造とLLMが扱える逐次自然表現との間の巨大な亀裂や、tKGの巨大なデータサイズとLLMを微調整する重い計算コストとの間には課題が生じる。
これらの課題に対処するために,時間的論理ルールに基づく探索戦略と,これらの課題を解決するためにパラメータ効率の少ない命令チューニングを併用した,GenTKGという新たな検索拡張生成フレームワークを提案する。
大規模な実験により、GenTKGは、非常に限られたトレーニングデータから16サンプルまで、計算資源の少ない時間的関係予測法よりも優れた性能を示した。
GenTKGはまた、再トレーニングなしで、目に見えないデータセットのパフォーマンスで優れたクロスドメインの一般化性と、同じデータセット内の時間分割に関わらず、ドメイン内の一般化性を強調している。
本研究は, tKG領域におけるLLMの潜在可能性を明らかにし, tKGの生成予測のための新たなフロンティアを開拓する。
コードとデータは、https://github.com/mayhugotong/GenTKG.comで公開されている。
関連論文リスト
- Taming Pre-trained LLMs for Generalised Time Series Forecasting via
Cross-modal Knowledge Distillation [62.46869075841118]
我々はLLaTAと呼ばれる新しい大規模言語モデルと時系列アライメントフレームワークを提案し、時系列予測課題におけるLLMの可能性を完全に解き放つ。
提案手法は, クロスモーダルな知識蒸留に基づいて, 入力に依存しない静的知識と, 事前学習LLMにおける入力依存動的知識の両方を利用する。
論文 参考訳(メタデータ) (2024-03-12T04:04:38Z) - GATGPT: A Pre-trained Large Language Model with Graph Attention Network
for Spatiotemporal Imputation [19.371155159744934]
実世界の環境では、センサーの故障やデータ転送エラーなどの問題により、そのようなデータには欠落する要素がしばしば含まれる。
時間的計算の目的は、観測された時系列における固有の空間的および時間的関係を理解することによって、これらの欠落値を推定することである。
伝統的に、複雑な時間的計算は特定のアーキテクチャに依存しており、適用可能性の制限と高い計算複雑性に悩まされている。
対照的に、我々のアプローチは、事前訓練された大規模言語モデル(LLM)を複雑な時間的インプットに統合し、画期的なフレームワークであるGATGPTを導入している。
論文 参考訳(メタデータ) (2023-11-24T08:15:11Z) - Generative Modeling of Regular and Irregular Time Series Data via
Koopman VAEs [53.91784369229405]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
以上の結果から,KVAEは,合成および実世界の時系列生成ベンチマークにおいて,最先端のGAN法およびVAE法よりも優れていた。
論文 参考訳(メタデータ) (2023-10-04T07:14:43Z) - Graph-enabled Reinforcement Learning for Time Series Forecasting with
Adaptive Intelligence [11.249626785206003]
グラフニューラルネットワーク(GNN)と強化学習(RL)を用いたモニタリングによる時系列データの予測手法を提案する。
GNNは、データのグラフ構造をモデルに明示的に組み込むことができ、時間的依存関係をより自然な方法でキャプチャすることができる。
このアプローチは、医療、交通、天気予報など、複雑な時間構造におけるより正確な予測を可能にする。
論文 参考訳(メタデータ) (2023-09-18T22:25:12Z) - MPR-Net:Multi-Scale Pattern Reproduction Guided Universality Time Series
Interpretable Forecasting [13.790498420659636]
時系列予測は、その広範な応用が本質的に困難なため、既存の研究から幅広い関心を集めている。
本稿では,まず,畳み込み操作を用いてマルチスケールの時系列パターンを適応的に分解し,パターン再現の既知に基づいてパターン拡張予測手法を構築し,最終的に畳み込み操作を用いて将来的なパターンを再構築する。
時系列に存在する時間的依存関係を活用することで、MPR-Netは線形時間複雑性を達成するだけでなく、予測プロセスも解釈できる。
論文 参考訳(メタデータ) (2023-07-13T13:16:01Z) - TSGM: A Flexible Framework for Generative Modeling of Synthetic Time
Series [79.64785804590821]
時系列データは、研究者と産業組織間のデータの共有を妨げるため、しばしば不足または非常に敏感である。
本稿では,合成時系列の生成モデリングのためのオープンソースフレームワークである時系列生成モデリング(TSGM)を紹介する。
論文 参考訳(メタデータ) (2023-05-19T10:11:21Z) - Temporal Knowledge Graph Forecasting Without Knowledge Using In-Context
Learning [23.971206470486468]
本稿では,関連する歴史的事実をプロンプトに変換し,トークン確率を用いてランキング予測を生成する枠組みを提案する。
驚いたことに、LLMは最先端のTKGモデルと同等に動作している。
また,エンティティ/リレーション名の代わりに数値指標を用いると,性能に悪影響を及ぼさないことも判明した。
論文 参考訳(メタデータ) (2023-05-17T23:50:28Z) - A Simple Temporal Information Matching Mechanism for Entity Alignment
Between Temporal Knowledge Graphs [18.451872649228196]
本稿では,時間的情報マッチング機構を組み合わせた単純なグラフニューラルネットワーク(GNN)モデルを提案する。
また、TKGの時間情報を用いて、教師なしアライメント種子を生成する方法を提案する。
論文 参考訳(メタデータ) (2022-09-20T12:27:34Z) - Towards Generating Real-World Time Series Data [52.51620668470388]
時系列データ生成のための新しい生成フレームワーク - RTSGANを提案する。
RTSGANは、時系列インスタンスと固定次元潜在ベクトルの間のマッピングを提供するエンコーダデコーダモジュールを学習する。
不足した値の時系列を生成するために、RTSGANに観測埋め込み層と決定・生成デコーダを更に装備する。
論文 参考訳(メタデータ) (2021-11-16T11:31:37Z) - Topology-based Clusterwise Regression for User Segmentation and Demand
Forecasting [63.78344280962136]
本研究は,パブリックおよび新規な商用データ集合を用いて,アナリストがユーザベースをクラスタリングし,詳細なレベルで需要を計画できることを示す。
本研究は,TDAに基づく時系列クラスタリングと行列因数分解法によるクラスタ回帰を実践者にとって実行可能なツールとして導入することを目的とする。
論文 参考訳(メタデータ) (2020-09-08T12:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。