論文の概要: Chain of History: Learning and Forecasting with LLMs for Temporal
Knowledge Graph Completion
- arxiv url: http://arxiv.org/abs/2401.06072v2
- Date: Wed, 14 Feb 2024 15:49:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 18:43:05.550955
- Title: Chain of History: Learning and Forecasting with LLMs for Temporal
Knowledge Graph Completion
- Title(参考訳): 歴史の連鎖: 時間知識グラフ補完のためのLLMによる学習と予測
- Authors: Ruilin Luo, Tianle Gu, Haoling Li, Junzhe Li, Zicheng Lin, Jiayi Li,
Yujiu Yang
- Abstract要約: 時間知識グラフ補完(TKGC)は、将来のタイムスタンプにおけるイベントリンクの欠落を予測する複雑なタスクである。
本稿では,時間的知識グラフの推論において,大規模言語モデルの利点を活用するための総合的な視点を提供することを目的とする。
- 参考スコア(独自算出の注目度): 24.545917737620197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Temporal Knowledge Graph Completion (TKGC) is a complex task involving the
prediction of missing event links at future timestamps by leveraging
established temporal structural knowledge. This paper aims to provide a
comprehensive perspective on harnessing the advantages of Large Language Models
(LLMs) for reasoning in temporal knowledge graphs, presenting an easily
transferable pipeline. In terms of graph modality, we underscore the LLMs'
prowess in discerning the structural information of pivotal nodes within the
historical chain. As for the generation mode of the LLMs utilized for
inference, we conduct an exhaustive exploration into the variances induced by a
range of inherent factors in LLMs, with particular attention to the challenges
in comprehending reverse logic. We adopt a parameter-efficient fine-tuning
strategy to harmonize the LLMs with the task requirements, facilitating the
learning of the key knowledge highlighted earlier. Comprehensive experiments
are undertaken on several widely recognized datasets, revealing that our
framework exceeds or parallels existing methods across numerous popular
metrics. Additionally, we execute a substantial range of ablation experiments
and draw comparisons with several advanced commercial LLMs, to investigate the
crucial factors influencing LLMs' performance in structured temporal knowledge
inference tasks.
- Abstract(参考訳): 時間的知識グラフ補完(TKGC)は、確立された時間的構造的知識を活用することで、将来のタイムスタンプにおけるイベントリンクの欠落を予測する複雑なタスクである。
本稿では、時間的知識グラフの推論にLarge Language Models(LLM)の利点を利用するための総合的な視点を提供することを目的とする。
グラフモダリティの観点からは、歴史的チェーン内の重要なノードの構造情報を識別するllmsの能力を強調する。
推論に用いた LLM の生成モードについては,LLM に固有の様々な要因によって引き起こされる分散を網羅的に探索し,特に逆論理を解釈する際の課題に注目した。
我々は、LCMとタスク要求を調和させるためにパラメータ効率の良い微調整戦略を採用し、より早く強調された重要な知識の学習を容易にする。
いくつかの広く認識されているデータセットで包括的な実験が行われ、我々のフレームワークは、多くの人気のあるメトリクスをまたいで既存のメソッドを超越または並列化していることが判明した。
さらに、構造化時間的知識推論タスクにおけるLLMの性能に影響を及ぼす重要な要因について検討するため、かなりの範囲のアブレーション実験を行い、先進的な商業LLMとの比較を行う。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [57.49531095113406]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [64.33702161898469]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Time Series Forecasting with LLMs: Understanding and Enhancing Model
Capabilities [39.874834611685124]
大規模言語モデル(LLM)は近年,急速な発展を遂げた多くの分野に適用されている。
本稿では,LLMがパターンや傾向を明確にした時系列予測に優れるが,周期性に欠けるデータセットでは課題に直面していることを示す。
さらに, 入力戦略について検討し, 外部知識を取り入れ, 自然言語のパラフレーズを取り入れた場合, 時系列におけるLLMの予測性能に肯定的な影響が認められた。
論文 参考訳(メタデータ) (2024-02-16T17:15:28Z) - An Enhanced Prompt-Based LLM Reasoning Scheme via Knowledge
Graph-Integrated Collaboration [16.054815633190476]
本研究では,知識グラフ(KG)と大規模言語モデル(LLM)の緊密な協調を含む協調学習自由推論手法を提案する。
このような協調的な手法により、より信頼性の高い知識に基づく推論を実現し、推論結果の追跡を容易にする。
論文 参考訳(メタデータ) (2024-02-07T15:56:17Z) - Clue-Guided Path Exploration: An Efficient Knowledge Base
Question-Answering Framework with Low Computational Resource Consumption [22.74267517598694]
知識ベースとLLMを効率的にマージするCGPE(Clue-Guided Path Exploration framework)を導入する。
CGPEは、人間が手動で知識を検索する手法にインスパイアされ、必要な知識経路を体系的に探索するための手がかりとして、質問からの情報を利用する。
オープンソースデータセットの実験では、CGPEは従来の手法よりも優れており、パラメータが少ないLCMに適用可能であることが明らかになった。
論文 参考訳(メタデータ) (2024-01-24T13:36:50Z) - Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - LALM: Long-Term Action Anticipation with Language Models [74.10147822693791]
言語モデル(LALM)を用いた長期的行動予測のための新しいアプローチを提案する。
本手法は,従来の行動系列を追跡する行動認識モデルと,関連する環境の詳細を記述するための視覚言語モデルを含む。
実験の結果、LALMは長期的な行動予測のタスクにおいて最先端の手法を超越していることが示された。
論文 参考訳(メタデータ) (2023-11-29T02:17:27Z) - Temporal Knowledge Question Answering via Abstract Reasoning Induction [34.42547947458204]
大規模言語モデル(LLM)における時間的知識推論の重要な課題に取り組む。
我々の提案の中心は抽象推論誘導ARIフレームワークであり、時間的推論を知識に依存しないものと知識に基づく2つの異なるフェーズに分割する。
提案手法は,2つの時間的QAデータセットに対して29.7%と9.27%の相対的な向上を達成している。
論文 参考訳(メタデータ) (2023-11-15T17:46:39Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。