論文の概要: Integrate Temporal Graph Learning into LLM-based Temporal Knowledge Graph Model

• arxiv url: http://arxiv.org/abs/2501.11911v1
• Date: Tue, 21 Jan 2025 06:12:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:19:16.737471
• Title: Integrate Temporal Graph Learning into LLM-based Temporal Knowledge Graph Model
• Title（参考訳）: LLMに基づく時間知識グラフモデルへの時間グラフ学習の統合
• Authors: He Chang, Jie Wu, Zhulin Tao, Yunshan Ma, Xianglin Huang, Tat-Seng Chua,
• Abstract要約: 時間的知識グラフ予測は、歴史における観測された事象に基づいて将来の事象を予測することを目的としている。 既存の手法では、検索した歴史的事実や静的グラフ表現をLarge Language Models (LLMs)に統合している。 LLMに基づく時間知識グラフモデルに時間グラフ学習を統合するための新しいフレームワークTGL-LLMを提案する。
• 参考スコア（独自算出の注目度）: 48.15492235240126
• License:
• Abstract: Temporal Knowledge Graph Forecasting (TKGF) aims to predict future events based on the observed events in history. Recently, Large Language Models (LLMs) have exhibited remarkable capabilities, generating significant research interest in their application for reasoning over temporal knowledge graphs (TKGs). Existing LLM-based methods have integrated retrieved historical facts or static graph representations into LLMs. Despite the notable performance of LLM-based methods, they are limited by the insufficient modeling of temporal patterns and ineffective cross-modal alignment between graph and language, hindering the ability of LLMs to fully grasp the temporal and structural information in TKGs. To tackle these issues, we propose a novel framework TGL-LLM to integrate temporal graph learning into LLM-based temporal knowledge graph model. Specifically, we introduce temporal graph learning to capture the temporal and relational patterns and obtain the historical graph embedding. Furthermore, we design a hybrid graph tokenization to sufficiently model the temporal patterns within LLMs. To achieve better alignment between graph and language, we employ a two-stage training paradigm to finetune LLMs on high-quality and diverse data, thereby resulting in better performance. Extensive experiments on three real-world datasets show that our approach outperforms a range of state-of-the-art (SOTA) methods.
• Abstract（参考訳）: TKGF(Temporal Knowledge Graph Forecasting)は、歴史の中で観測された事象に基づいて将来の事象を予測することを目的としている。 近年,Large Language Models (LLMs) が注目されている。 既存の LLM ベースの手法は、検索した履歴事実や静的グラフ表現を LLM に統合している。 LLM手法の顕著な性能にもかかわらず、時間的パターンのモデリングが不十分であり、グラフと言語間の非効率な相互モーダルアライメントによって制限されており、LLMがTKGの時間的・構造的情報を完全に把握する能力を妨げている。 これらの課題に対処するために,LLMに基づく時間的知識グラフモデルに時間的グラフ学習を統合する新しいフレームワークTGL-LLMを提案する。 具体的には、時間的グラフ学習を導入し、時間的および関係的なパターンをキャプチャし、履歴グラフの埋め込みを得る。 さらに、LLM内の時間パターンを十分にモデル化するハイブリッドグラフトークン化を設計する。 グラフと言語との整合性を向上するために、我々は2段階のトレーニングパラダイムを用いて、高品質で多様なデータに基づいてLLMを微調整し、より良いパフォーマンスを実現する。 3つの実世界のデータセットに対する大規模な実験により、我々のアプローチは最先端(SOTA)の手法よりも優れていることが示された。

関連論文リスト

• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• A Survey of Large Language Models for Graphs [21.54279919476072]
  我々は、グラフ学習に適用された最新の最先端の大規模言語モデルについて、詳細なレビューを行う。 フレームワーク設計に基づいて既存の手法を分類する新しい分類法を提案する。 各フレームワークの長所と短所について検討し,今後の研究への可能性を強調する。
  論文  参考訳（メタデータ） (2024-05-10T18:05:37Z)
• A Survey of Large Language Models on Generative Graph Analytics: Query, Learning, and Applications [4.777453721753589]
  大規模言語モデル(LLM)は、様々なNLPおよびマルチモードタスクを扱う強力な一般化能力を示した。 グラフ学習モデルと比較して、LLMはグラフタスクの一般化の課題に対処する上で、優れたアドバンテージを持っている。 LLM-based generative graph analysis (LLM-GGA) の重要な問題点を3つのカテゴリで検討した。
  論文  参考訳（メタデータ） (2024-04-23T07:39:24Z)
• Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
  グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。 本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。 評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T12:37:54Z)
• Chain of History: Learning and Forecasting with LLMs for Temporal Knowledge Graph Completion [24.545917737620197]
  時間知識グラフ補完(TKGC)は、将来のタイムスタンプにおけるイベントリンクの欠落を予測する複雑なタスクである。 本稿では,時間的知識グラフの推論において,大規模言語モデルの利点を活用するための総合的な視点を提供することを目的とする。
  論文  参考訳（メタデータ） (2024-01-11T17:42:47Z)
• LLM4DyG: Can Large Language Models Solve Spatial-Temporal Problems on Dynamic Graphs? [56.85995048874959]
  本稿では,大規模言語モデルの動的グラフ上での時空間理解能力を評価することを提案する。 我々は、異なるデータ生成装置、データ統計、プロンプト技術、LLMがモデル性能に与える影響を分析する実験を行う。 最後に, LLM の時空間理解能力を高めるために, 動的グラフ上の LLM に対する Disentangled Spatial-Temporal Thoughts (DST2) を提案する。
  論文  参考訳（メタデータ） (2023-10-26T02:37:43Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。