論文の概要: Enhancing Temporal Knowledge Graph Forecasting with Large Language
Models via Chain-of-History Reasoning
- arxiv url: http://arxiv.org/abs/2402.14382v1
- Date: Thu, 22 Feb 2024 08:51:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 15:53:12.304595
- Title: Enhancing Temporal Knowledge Graph Forecasting with Large Language
Models via Chain-of-History Reasoning
- Title(参考訳): 歴史連鎖推論による大規模言語モデルによる時間知識グラフ予測の強化
- Authors: Yuwei Xia, Ding Wang, Qiang Liu, Liang Wang, Shu Wu, Xiaoyu Zhang
- Abstract要約: 時間的知識グラフ(TKG)予測は、与えられた履歴に基づいて将来の事実を予測することを目的としている。
最近のグラフベースのモデルでは、TKG内の構造情報の取得が優れているが、意味的理解能力は欠如している。
本稿では,高次歴史を段階的に探求する『歴史の連鎖』(CoH)推論を提案する。
- 参考スコア(独自算出の注目度): 34.66154713153524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Temporal Knowledge Graph (TKG) forecasting aims to predict future facts based
on given histories. Most recent graph-based models excel at capturing
structural information within TKGs but lack semantic comprehension abilities.
Nowadays, with the surge of LLMs, the LLM-based TKG prediction model has
emerged. However, the existing LLM-based model exhibits three shortcomings: (1)
It only focuses on the first-order history for prediction while ignoring
high-order historical information, resulting in the provided information for
LLMs being extremely limited. (2) LLMs struggle with optimal reasoning
performance under heavy historical information loads. (3) For TKG prediction,
the temporal reasoning capability of LLM alone is limited. To address the first
two challenges, we propose Chain-of-History (CoH) reasoning which explores
high-order histories step-by-step, achieving effective utilization of
high-order historical information for LLMs on TKG prediction. To address the
third issue, we design CoH as a paly-and-plug module to enhance the performance
of graph-based models for TKG prediction. Extensive experiments on three
datasets and backbones demonstrate the effectiveness of CoH.
- Abstract(参考訳): 時間的知識グラフ(TKG)予測は、与えられた履歴に基づいて将来の事実を予測することを目的としている。
最近のグラフベースのモデルでは、TKG内の構造情報の取得が優れているが、意味的理解能力に欠ける。
現在、LLMの急増に伴い、LLMベースのTKG予測モデルが登場している。
しかし,既存のLLMモデルでは,(1)高次履歴情報を無視しながら予測の1次履歴のみに焦点が当てられているため,LLMの提供する情報は極めて限られている。
2)LLMは,重度履歴情報負荷下での最適推論性能に苦慮する。
(3) TKG 予測では, LLM の時間的推論能力は限定的である。
最初の2つの課題に対処するため、我々は高階歴史を段階的に探求し、TKG予測におけるLLMの高階歴史情報の有効活用を実現するCoH推論を提案する。
第3の課題に対処するため,我々はtkg予測のためのグラフモデルの性能を向上させるために,paly-and-plugモジュールとしてcohを設計した。
3つのデータセットとバックボーンに関する大規模な実験は、CoHの有効性を示している。
関連論文リスト
- Selective Temporal Knowledge Graph Reasoning [70.11788354442218]
時間的知識グラフ(TKG)は、与えられた歴史的事実に基づいて将来の事実を予測することを目的としている。
既存のTKG推論モデルは、不確実な予測を控えることができない。
本稿では,既存のモデルが無差別な予測ではなく選択的に行うのに役立つ,TKG推論の棄却機構を提案する。
論文 参考訳(メタデータ) (2024-04-02T06:56:21Z) - Evaluating Large Language Models for Health-Related Text Classification Tasks with Public Social Media Data [3.9459077974367833]
大規模言語モデル(LLM)は、NLPタスクにおいて顕著な成功を収めた。
我々は、サポートベクトルマシン(SVM)に基づく教師付き古典機械学習モデルと、RoBERTa、BERTweet、SocBERTに基づく3つの教師付き事前訓練言語モデル(PLM)と、6つのテキスト分類タスクで2つのLLMベースの分類器(GPT3.5、GPT4)をベンチマークした。
LLM(GPT-4)を用いた軽量教師付き分類モデルの訓練には,比較的小さな人手によるデータ拡張(GPT-4)が有効であることを示す総合的な実験を行った。
論文 参考訳(メタデータ) (2024-03-27T22:05:10Z) - Taming Pre-trained LLMs for Generalised Time Series Forecasting via
Cross-modal Knowledge Distillation [62.46869075841118]
我々はLLaTAと呼ばれる新しい大規模言語モデルと時系列アライメントフレームワークを提案し、時系列予測課題におけるLLMの可能性を完全に解き放つ。
提案手法は, クロスモーダルな知識蒸留に基づいて, 入力に依存しない静的知識と, 事前学習LLMにおける入力依存動的知識の両方を利用する。
論文 参考訳(メタデータ) (2024-03-12T04:04:38Z) - TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models [27.306180426294784]
大規模言語モデル(LLM)を利用した新しい交通予測フレームワークであるTPLLMを紹介する。
本フレームワークでは,Lonal Neural Networks (LoCNNs) に基づくシーケンス埋め込み層と,Graph Contemporalal Networks (GCNs) に基づくグラフ埋め込み層を構築し,シーケンスの特徴と空間的特徴を抽出する。
実世界の2つのデータセットの実験では、フルサンプルと数ショットの予測シナリオの両方で、満足できるパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-03-04T17:08:57Z) - Chain of History: Learning and Forecasting with LLMs for Temporal
Knowledge Graph Completion [24.545917737620197]
時間知識グラフ補完(TKGC)は、将来のタイムスタンプにおけるイベントリンクの欠落を予測する複雑なタスクである。
本稿では,時間的知識グラフの推論において,大規模言語モデルの利点を活用するための総合的な視点を提供することを目的とする。
論文 参考訳(メタデータ) (2024-01-11T17:42:47Z) - Local-Global History-aware Contrastive Learning for Temporal Knowledge
Graph Reasoning [25.497749629866757]
時間的知識グラフのためのブルーローカル・ブルーグロバル履歴対応ブルーコントラストブルーLモデル(ブルーLogCL)を提案する。
最初の課題として、LogCLは、ローカルおよびグローバルな歴史的事実エンコーダに適用されるエンティティ対応の注意機構を提案する。
後者の問題のために、LogCLは4つの歴史的クエリコントラストパターンを設計し、モデルの堅牢性を効果的に改善した。
論文 参考訳(メタデータ) (2023-12-04T03:27:01Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳(メタデータ) (2023-08-07T18:50:57Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳(メタデータ) (2023-05-22T17:02:15Z) - Temporal Knowledge Graph Forecasting Without Knowledge Using In-Context
Learning [23.971206470486468]
本稿では,関連する歴史的事実をプロンプトに変換し,トークン確率を用いてランキング予測を生成する枠組みを提案する。
驚いたことに、LLMは最先端のTKGモデルと同等に動作している。
また,エンティティ/リレーション名の代わりに数値指標を用いると,性能に悪影響を及ぼさないことも判明した。
論文 参考訳(メタデータ) (2023-05-17T23:50:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。