論文の概要: Ignite Forecasting with SPARK: An Efficient Generative Framework for Refining LLMs in Temporal Knowledge Graph Forecasting

• arxiv url: http://arxiv.org/abs/2503.22748v1
• Date: Thu, 27 Mar 2025 03:02:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:38:11.409114
• Title: Ignite Forecasting with SPARK: An Efficient Generative Framework for Refining LLMs in Temporal Knowledge Graph Forecasting
• Title（参考訳）: SPARKによるIgnite予測: 時間的知識グラフ予測におけるLLMの効率的な生成フレームワーク
• Authors: Gongzhu Yin, Hongli Zhang, Yi Luo, Yuchen Yang, Kun Lu, Chao Meng,
• Abstract要約: 本稿では,TKG予測における大規模言語モデルの精錬のためのシーケンスレベルのプロキシフレームワークであるSPARKを紹介する。 推論時間アルゴリズムにインスパイアされたSPARKは、2つの重要なイノベーションを通じてコスト効率の良いプラグアンドプレイソリューションを提供する。 多様なデータセットにわたる実験は、SPARKの予測性能、堅牢な一般化能力、高効率を検証している。
• 参考スコア（独自算出の注目度）: 13.402856325579236
• License:
• Abstract: Temporal Knowledge Graph (TKG) forecasting is crucial for predicting future events using historical data. With the surge of Large Language Models (LLMs), recent studies have begun exploring their integration into TKG forecasting and achieved some success. However, they still face limitations such as limited input length, inefficient output generation, and resource-intensive refinement, which undermine their performance and practical applicability. To address these limitations, we introduce SPARK, a Sequence-level Proxy-Adapting framework for Refining LLMs in TKG forecasting. Inspired by inference-time algorithms adopted in controlling generation, SPARK offers a cost-effective, plug-and-play solution through two key innovations: (1) Beam Sequence-Level Generation, which reframes TKG forecasting as a top-K sequence-level generation task, using beam search for efficiently generating next-entity distribution in a single forward pass. (2) TKG Adapter for Refinement, which employs traditional TKG models as trainable proxy adapters to leverage global graph information and refine LLM outputs, overcoming both the input length and the resource-intensive fine-tuning problems. Experiments across diverse datasets validate SPARK's forecasting performance, robust generalization capabilities, and high efficiency. We release source codes at https://github.com/yin-gz/SPARK.
• Abstract（参考訳）: 時系列知識グラフ(TKG)予測は,過去のデータを用いた将来の事象の予測に不可欠である。 LLM(Large Language Models)の急増に伴い、最近の研究はTKG予測への統合を探求し、いくつかの成功を収めている。 しかし、入力長の制限、非効率な出力生成、リソース集約的な改善など、パフォーマンスや実用性を損なう制限に直面している。 これらの制約に対処するために、TKG予測においてLLMを精製するためのシーケンスレベルのプロキシ適応フレームワークであるSPARKを導入する。 1)ビームシーケンスレベル生成は、TKG予測をトップKシーケンスレベル生成タスクとして再設定し、ビームサーチを使用して、1つのフォワードパスで次エンタリティ分布を効率よく生成する。 2) TKG Adapter for Refinementは,従来のTKGモデルを訓練可能なプロキシアダプタとして使用して,グローバルグラフ情報を活用し,LLM出力を洗練し,入力長とリソース集約的な微調整問題を克服する。 多様なデータセットにわたる実験は、SPARKの予測性能、堅牢な一般化能力、高効率を検証している。 ソースコードはhttps://github.com/yin-gz/SPARK.comで公開しています。

関連論文リスト

• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• The Efficiency vs. Accuracy Trade-off: Optimizing RAG-Enhanced LLM Recommender Systems Using Multi-Head Early Exit [46.37267466656765]
  本稿では,Retrieval-Augmented Generation(RAG)と革新的なマルチヘッドアーリーエグジットアーキテクチャを組み合わせた最適化フレームワークを提案する。 我々の実験は、信頼性の高いレコメンデーション配信に必要な精度を犠牲にすることなく、このアーキテクチャがいかに効果的に時間を削減するかを実証している。
  論文  参考訳（メタデータ） (2025-01-04T03:26:46Z)
• Simple Is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation [9.844598565914055]
  大きな言語モデル(LLM)は強い推論能力を示すが、幻覚や時代遅れの知識のような制限に直面している。 本稿では、サブグラフを検索する知識グラフ(KG)ベースのRetrieval-Augmented Generation(RAG)フレームワークを拡張するSubgraphRAGを紹介する。 提案手法は,高効率かつフレキシブルなサブグラフ検索を実現するために,並列3重装飾機構を備えた軽量多層パーセプトロンを革新的に統合する。
  論文  参考訳（メタデータ） (2024-10-28T04:39:32Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能評価のためのより効率的な指標として、事前学習損失に焦点を当てている。 我々は、データソース間のFLOPに基づいて、ドメイン固有の事前学習損失を予測するために、電力法解析関数を拡張した。 我々は2層ニューラルネットワークを用いて、複数のドメイン固有の損失と下流性能の非線形関係をモデル化する。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• Beam Prediction based on Large Language Models [51.45077318268427]
  時系列予測タスクとしてミリ波(mmWave)ビーム予測問題を定式化する。 我々は、歴史的観測をトレーニング可能なトークン化器を用いてテキストベースの表現に変換する。 提案手法はLLMのパワーを利用して将来の最適ビームを予測する。
  論文  参考訳（メタデータ） (2024-08-16T12:40:01Z)
• TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models [27.306180426294784]
  大規模言語モデル(LLM)を利用した新しい交通予測フレームワークであるTPLLMを紹介する。 本フレームワークでは,Lonal Neural Networks (LoCNNs) に基づくシーケンス埋め込み層と,Graph Contemporalal Networks (GCNs) に基づくグラフ埋め込み層を構築し,シーケンスの特徴と空間的特徴を抽出する。 実世界の2つのデータセットの実験では、フルサンプルと数ショットの予測シナリオの両方で、満足できるパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-03-04T17:08:57Z)
• Chain-of-History Reasoning for Temporal Knowledge Graph Forecasting [32.711428457485596]
  時間的知識グラフ(TKG)予測は、与えられた履歴に基づいて将来の事実を予測することを目的としている。 最近のグラフベースのモデルでは、TKG内の構造情報の取得が優れているが、意味的理解能力は欠如している。 本稿では,高次歴史を段階的に探求する『歴史の連鎖』(CoH)推論を提案する。
  論文  参考訳（メタデータ） (2024-02-22T08:51:39Z)
• GenTKG: Generative Forecasting on Temporal Knowledge Graph with Large Language Models [35.594662986581746]
  大規模言語モデル (LLM) は、従来の埋め込みベースおよびルールベースの手法が支配する時間的知識グラフ (tKG) 領域に関心を抱いている。 本稿では、時間的論理ルールに基づく検索戦略と、パラメータ効率の少ない命令チューニングを組み合わせた、GenTKGという新しい検索拡張生成フレームワークを提案する。 実験により、GenTKGは計算資源の少ない時間的関係予測法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-11T18:27:12Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。