論文の概要: Chain of History: Learning and Forecasting with LLMs for Temporal
Knowledge Graph Completion
- arxiv url: http://arxiv.org/abs/2401.06072v1
- Date: Thu, 11 Jan 2024 17:42:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-12 13:33:26.556306
- Title: Chain of History: Learning and Forecasting with LLMs for Temporal
Knowledge Graph Completion
- Title(参考訳): 歴史の連鎖: 時間知識グラフ補完のためのLLMによる学習と予測
- Authors: Ruilin Luo, Tianle Gu, Haoling Li, Junzhe Li, Zicheng Lin, Jiayi Li,
Yujiu Yang
- Abstract要約: 本稿では,過去のイベントチェーンのコンテキスト内でのイベント生成タスクとして,時間的リンク予測を概念化する新しい手法を提案する。
我々は,LLMを時間的時系列で発見された特定のグラフテキスト情報やパターンに適応させるために,効率的な微調整手法を採用している。
複数の広く使われているデータセットについて徹底的な実験を行い、微調整されたモデルが既存の埋め込みベースのモデルを複数のメトリクスで上回っていることを発見した。
- 参考スコア(独自算出の注目度): 24.545917737620197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Temporal Knowledge Graph Completion (TKGC) is a challenging task of
predicting missing event links at future timestamps by leveraging established
temporal structural knowledge. Given the formidable generative capabilities
inherent in LLMs (LLMs), this paper proposes a novel approach to conceptualize
temporal link prediction as an event generation task within the context of a
historical event chain. We employ efficient fine-tuning methods to make LLMs
adapt to specific graph textual information and patterns discovered in temporal
timelines. Furthermore, we introduce structure-based historical data
augmentation and the integration of reverse knowledge to emphasize LLMs'
awareness of structural information, thereby enhancing their reasoning
capabilities. We conduct thorough experiments on multiple widely used datasets
and find that our fine-tuned model outperforms existing embedding-based models
on multiple metrics, achieving SOTA results. We also carry out sufficient
ablation experiments to explore the key influencing factors when LLMs perform
structured temporal knowledge inference tasks.
- Abstract(参考訳): 時間的知識グラフ補完(tkgc)は、確立された時間的構造的知識を活用し、将来のタイムスタンプにおけるイベントリンクの欠落を予測する困難なタスクである。
本稿では,LLM(LLMs)に固有の強い生成能力を考慮し,時系列リンク予測を歴史的イベントチェーンの文脈内でイベント生成タスクとして概念化する手法を提案する。
我々は,LLMを時間的時系列で発見された特定のグラフテキスト情報やパターンに適応させるために,効率的な微調整手法を用いる。
さらに,構造に基づく歴史的データ拡張とリバース知識の統合を導入し,構造情報の認識を強調することで,その推論能力を高める。
我々は、広く使われている複数のデータセットの徹底的な実験を行い、微調整されたモデルが既存の埋め込みベースのモデルを複数のメトリクスで上回り、SOTA結果を達成することを発見した。
また,LLMが構造化時間的知識推論タスクを行う際の重要な要因について,十分なアブレーション実験を行った。
関連論文リスト
- CausalBench: A Comprehensive Benchmark for Causal Learning Capability of Large Language Models [27.362012903540492]
因果性は、現実世界のシナリオにおけるデータ分散の背後にある基本的な原則を明らかにする。
大規模言語モデル(LLM)は、アウトプットの説明、新しいエビデンスへの適応、反事実の生成などを通じて、因果関係がそれらの効果に直接影響を与えることを理解することができる。
本稿では,LLMの因果理解能力を評価するために,CausalBenchという包括的なベンチマークを提案する。
論文 参考訳(メタデータ) (2024-04-09T14:40:08Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。
ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。
LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
論文 参考訳(メタデータ) (2024-02-29T14:06:34Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Time Series Forecasting with LLMs: Understanding and Enhancing Model
Capabilities [39.874834611685124]
大規模言語モデル(LLM)は近年,急速な発展を遂げた多くの分野に適用されている。
本稿では,LLMがパターンや傾向を明確にした時系列予測に優れるが,周期性に欠けるデータセットでは課題に直面していることを示す。
さらに, 入力戦略について検討し, 外部知識を取り入れ, 自然言語のパラフレーズを取り入れた場合, 時系列におけるLLMの予測性能に肯定的な影響が認められた。
論文 参考訳(メタデータ) (2024-02-16T17:15:28Z) - An Enhanced Prompt-Based LLM Reasoning Scheme via Knowledge
Graph-Integrated Collaboration [16.054815633190476]
本研究では,知識グラフ(KG)と大規模言語モデル(LLM)の緊密な協調を含む協調学習自由推論手法を提案する。
このような協調的な手法により、より信頼性の高い知識に基づく推論を実現し、推論結果の追跡を容易にする。
論文 参考訳(メタデータ) (2024-02-07T15:56:17Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - LALM: Long-Term Action Anticipation with Language Models [74.10147822693791]
言語モデル(LALM)を用いた長期的行動予測のための新しいアプローチを提案する。
本手法は,従来の行動系列を追跡する行動認識モデルと,関連する環境の詳細を記述するための視覚言語モデルを含む。
実験の結果、LALMは長期的な行動予測のタスクにおいて最先端の手法を超越していることが示された。
論文 参考訳(メタデータ) (2023-11-29T02:17:27Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。