論文の概要: Knowledge Distillation for Temporal Knowledge Graph Reasoning with Large Language Models

• arxiv url: http://arxiv.org/abs/2601.00202v1
• Date: Thu, 01 Jan 2026 04:38:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.306783
• Title: Knowledge Distillation for Temporal Knowledge Graph Reasoning with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた時間的知識グラフ推論のための知識蒸留
• Authors: Wang Xing, Wei Song, Siyu Lin, Chen Wu, Zhesi Li, Man Wang,
• Abstract要約: 時間的知識グラフ(TKG)に対する推論は、インテリジェントな意思決定システムの効率性と信頼性の向上に不可欠である。 既存のTKG推論モデルは通常、大きなパラメータサイズと集中的な計算に依存している。 本稿では,時間的知識グラフ推論に適した蒸留フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.46502493796591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning over temporal knowledge graphs (TKGs) is fundamental to improving the efficiency and reliability of intelligent decision-making systems and has become a key technological foundation for future artificial intelligence applications. Despite recent progress, existing TKG reasoning models typically rely on large parameter sizes and intensive computation, leading to high hardware costs and energy consumption. These constraints hinder their deployment on resource-constrained, low-power, and distributed platforms that require real-time inference. Moreover, most existing model compression and distillation techniques are designed for static knowledge graphs and fail to adequately capture the temporal dependencies inherent in TKGs, often resulting in degraded reasoning performance. To address these challenges, we propose a distillation framework specifically tailored for temporal knowledge graph reasoning. Our approach leverages large language models as teacher models to guide the distillation process, enabling effective transfer of both structural and temporal reasoning capabilities to lightweight student models. By integrating large-scale public knowledge with task-specific temporal information, the proposed framework enhances the student model's ability to model temporal dynamics while maintaining a compact and efficient architecture. Extensive experiments on multiple publicly available benchmark datasets demonstrate that our method consistently outperforms strong baselines, achieving a favorable trade-off between reasoning accuracy, computational efficiency, and practical deployability.
• Abstract（参考訳）: 時間的知識グラフ(TKG)に対する推論は、インテリジェントな意思決定システムの効率性と信頼性を向上させるための基本であり、将来の人工知能アプリケーションにとって重要な技術基盤となっている。 最近の進歩にもかかわらず、既存のTKG推論モデルは一般に大きなパラメータサイズと集中的な計算に依存しており、高いハードウェアコストとエネルギー消費をもたらす。 これらの制約は、リアルタイムの推論を必要とするリソース制約、低消費電力、分散プラットフォームへのデプロイメントを妨げる。 さらに、既存のモデル圧縮・蒸留技術の多くは、静的知識グラフのために設計されており、TKGに固有の時間的依存関係を適切に捉えることができず、しばしば劣化した推論性能をもたらす。 これらの課題に対処するために,時間的知識グラフ推論に適した蒸留フレームワークを提案する。 提案手法では, 大規模言語モデルを教師モデルとして活用し, 蒸留プロセスの指導を行い, 構造的および時間的推論能力の両方を軽量な学生モデルに効果的に移行することができる。 大規模公開知識とタスク固有の時間情報を統合することにより、提案フレームワークは、コンパクトで効率的なアーキテクチャを維持しつつ、時間的ダイナミクスをモデル化する学生モデルの能力を向上する。 複数の公開ベンチマークデータセットに対する大規模な実験により、我々の手法は強いベースラインを一貫して上回り、推論精度、計算効率、実用的なデプロイ可能性のトレードオフを達成している。

関連論文リスト

• Lightweight Task-Oriented Semantic Communication Empowered by Large-Scale AI Models [66.57755931421285]
  大規模人工知能(LAI)モデルは、リアルタイム通信シナリオにおいて重大な課題を提起する。 本稿では,LAIモデルから知識を抽出・凝縮するために知識蒸留(KD)技術を活用することを提案する。 本稿では,反復推論の必要性を排除したプレストア圧縮機構を備えた高速蒸留法を提案する。
  論文  参考訳（メタデータ） (2025-06-16T08:42:16Z)
• Dynamic Programming Techniques for Enhancing Cognitive Representation in Knowledge Tracing [125.75923987618977]
  認知表現動的プログラミングに基づく知識追跡(CRDP-KT)モデルを提案する。 質問の難易度とそれらの間の性能間隔に基づいて認知表現を最適化する動的プログラミングアルゴリズムである。 これは、その後のモデルトレーニングのためにより正確で体系的な入力機能を提供し、それによって認知状態のシミュレーションにおける歪みを最小限にする。
  論文  参考訳（メタデータ） (2025-06-03T14:44:48Z)
• Knowledge Distillation with Adapted Weight [6.0635849782457925]
  大規模モデルは、計算とエネルギーの制約により、リアルタイムシステムにデプロイするのは難しい。 Teacher-Student アーキテクチャによる知識蒸留は、大きなモデルの知識を圧縮するための持続可能な経路を提供する。 学習データに重みを割り当てるために影響関数を利用するtextbfKnowledge Distillation with Adaptive Influence Weight (KD-AIF) フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-06T01:16:07Z)
• Feature Alignment-Based Knowledge Distillation for Efficient Compression of Large Language Models [4.737806982257592]
  本研究では,大規模言語モデルと特徴アライメントに基づく知識蒸留アルゴリズムを提案する。 提案モデルは, パープレキシティ, BLEU, ROUGE, CER などの評価指標を用いて, 最先端の GPT-4 モデルに非常に近い性能を示す。
  論文  参考訳（メタデータ） (2024-12-27T04:37:06Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Energy-frugal and Interpretable AI Hardware Design using Learning Automata [5.514795777097036]
  Tsetlin Machineと呼ばれる新しい機械学習アルゴリズムが提案されている。 本稿では,エネルギーフルーガルな人工知能ハードウェア設計手法について検討する。 本研究は, 資源配分が, 頑健かつ解釈可能な学習を達成しつつ, 決定的なエネルギー削減をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-05-19T15:11:18Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Temporal Knowledge Graph Reasoning with Low-rank and Model-agnostic Representations [1.8262547855491458]
  低ランクテンソル分解モデル LowFER のパラメータ効率および時間認識拡張系である Time-LowFER を導入する。 時間を表現するための現在のアプローチのいくつかの制限に留意し、時間特徴に対するサイクル対応の時間符号化方式を提案する。 我々は,時間に敏感なデータ処理に着目した統合時間知識グラフ埋め込みフレームワークに本手法を実装した。
  論文  参考訳（メタデータ） (2022-04-10T22:24:11Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Pre-Trained Models: Past, Present and Future [126.21572378910746]
  大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。 知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。 AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
  論文  参考訳（メタデータ） (2021-06-14T02:40:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。