論文の概要: G2S: A General-to-Specific Learning Framework for Temporal Knowledge Graph Forecasting with Large Language Models

• arxiv url: http://arxiv.org/abs/2506.00445v1
• Date: Sat, 31 May 2025 07:57:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.64133
• Title: G2S: A General-to-Specific Learning Framework for Temporal Knowledge Graph Forecasting with Large Language Models
• Title（参考訳）: G2S:大規模言語モデルを用いた時間的知識グラフ予測のための汎用的な学習フレームワーク
• Authors: Long Bai, Zixuan Li, Xiaolong Jin, Jiafeng Guo, Xueqi Cheng, Tat-Seng Chua,
• Abstract要約: 上記の2種類の知識の学習過程を解き放つ汎用学習フレームワーク(G2S)を提案する。 一般学習の段階では、異なるTKGのシナリオ情報を隠蔽し、匿名の時間構造に変換する。 特定の学習段階では、コンテキスト内学習または微調整モードによって、シナリオ情報を構造に注入する。
• 参考スコア（独自算出の注目度）: 109.00835325199705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Forecasting over Temporal Knowledge Graphs (TKGs) which predicts future facts based on historical ones has received much attention. Recent studies have introduced Large Language Models (LLMs) for this task to enhance the models' generalization abilities. However, these models perform forecasting via simultaneously learning two kinds of entangled knowledge in the TKG: (1) general patterns, i.e., invariant temporal structures shared across different scenarios; and (2) scenario information, i.e., factual knowledge engaged in specific scenario, such as entities and relations. As a result, the learning processes of these two kinds of knowledge may interfere with each other, which potentially impact the generalization abilities of the models. To enhance the generalization ability of LLMs on this task, in this paper, we propose a General-to-Specific learning framework (G2S) that disentangles the learning processes of the above two kinds of knowledge. In the general learning stage, we mask the scenario information in different TKGs and convert it into anonymous temporal structures. After training on these structures, the model is able to capture the general patterns across different TKGs. In the specific learning stage, we inject the scenario information into the structures via either in-context learning or fine-tuning modes. Experimental results show that G2S effectively improves the generalization abilities of LLMs.
• Abstract（参考訳）: 時系列知識グラフ (TKGs) の予測は, 歴史的事実に基づく将来的な事実の予測に多くの注目を集めている。 近年,モデルの一般化能力を高めるために,LLM(Large Language Models)を導入している。 しかしながら、これらのモデルはTKGにおける2種類の絡み合った知識を同時に学習することで予測を行う:(1) 一般的なパターン、すなわち、異なるシナリオ間で共有される不変時間構造、(2) シナリオ情報、すなわち、エンティティやリレーションシップのような特定のシナリオに係わる事実的知識。 その結果、これらの2種類の知識の学習過程が互いに干渉し合い、モデルの一般化能力に影響を与える可能性がある。 本稿では,LLMの一般化能力を高めるために,上記の2種類の知識の学習プロセスを阻害する汎用学習フレームワーク(G2S)を提案する。 一般学習の段階では、異なるTKGのシナリオ情報を隠蔽し、匿名の時間構造に変換する。 これらの構造をトレーニングした後、モデルは異なるTKGにわたって一般的なパターンをキャプチャすることができる。 特定の学習段階では、コンテキスト内学習または微調整モードによって、シナリオ情報を構造に注入する。 実験により, G2SはLLMの一般化能力を効果的に向上することが示された。

関連論文リスト

• Exploring the Learning Capabilities of Language Models using LEVERWORLDS [23.40759867281453]
  設定のモデルを学ぶには、一般的な構造ルールとインスタンスの特定の特性の両方を学ぶ必要がある。 本稿では,様々な学習方法における一般学習と特定学習の相互作用について,サンプル効率に着目して検討する。
  論文  参考訳（メタデータ） (2024-10-01T09:02:13Z)
• When Context Leads but Parametric Memory Follows in Large Language Models [4.567122178196834]
  大規模言語モデル (LLM) は多様な知識源の活用において顕著な進歩を見せている。 本研究では,9つのLLMがオープンな質問に対して,局所的な文脈とグローバルなパラメータの知識を割り当てる方法について検討した。
  論文  参考訳（メタデータ） (2024-09-13T00:03:19Z)
• Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition [83.13280812128411]
  近年の研究では、グラッキング、二重降下、大規模言語モデルにおける創発的能力など、ディープラーニングにおける興味深い現象が明らかにされている。 本稿では,記憶回路と一般化回路の競合に着目し,これら3つの現象の統一的な見方を提供する包括的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-02-23T08:14:36Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Prompt Learning With Knowledge Memorizing Prototypes For Generalized Few-Shot Intent Detection [22.653220906899612]
  汎用Few-Shot Intent Detection (GFSID) は、目に見える意図と新しい意図の両方を同時に分類する必要があるため、困難かつ現実的である。 従来のGFSID法は、エピソード学習パラダイムに依存していた。 本稿では,GFSIDタスクをクラスインクリメンタル学習パラダイムに変換することを提案する。
  論文  参考訳（メタデータ） (2023-09-10T09:16:38Z)
• Investigating Forgetting in Pre-Trained Representations Through Continual Learning [51.30807066570425]
  事前学習した言語モデルの汎用性に及ぼす表現忘れの影響について検討する。 様々な事前学習されたLMで一般化が破壊され,構文的・意味的知識は連続学習によって忘れられることがわかった。
  論文  参考訳（メタデータ） (2023-05-10T08:27:59Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。