論文の概要: Ignite Forecasting with SPARK: An Efficient Generative Framework for Refining LLMs in Temporal Knowledge Graph Forecasting

• arxiv url: http://arxiv.org/abs/2503.22748v1
• Date: Thu, 27 Mar 2025 03:02:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 19:35:56.762082
• Title: Ignite Forecasting with SPARK: An Efficient Generative Framework for Refining LLMs in Temporal Knowledge Graph Forecasting
• Title（参考訳）: SPARKによるIgnite予測: 時間的知識グラフ予測におけるLLMの効率的な生成フレームワーク
• Authors: Gongzhu Yin, Hongli Zhang, Yi Luo, Yuchen Yang, Kun Lu, Chao Meng,
• Abstract要約: 本稿では,TKG予測における大規模言語モデルの精錬のためのシーケンスレベルのプロキシフレームワークであるSPARKを紹介する。 推論時間アルゴリズムにインスパイアされたSPARKは、2つの重要なイノベーションを通じてコスト効率の良いプラグアンドプレイソリューションを提供する。 多様なデータセットにわたる実験は、SPARKの予測性能、堅牢な一般化能力、高効率を検証している。
• 参考スコア（独自算出の注目度）: 13.402856325579236
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Temporal Knowledge Graph (TKG) forecasting is crucial for predicting future events using historical data. With the surge of Large Language Models (LLMs), recent studies have begun exploring their integration into TKG forecasting and achieved some success. However, they still face limitations such as limited input length, inefficient output generation, and resource-intensive refinement, which undermine their performance and practical applicability. To address these limitations, we introduce SPARK, a Sequence-level Proxy-Adapting framework for Refining LLMs in TKG forecasting. Inspired by inference-time algorithms adopted in controlling generation, SPARK offers a cost-effective, plug-and-play solution through two key innovations: (1) Beam Sequence-Level Generation, which reframes TKG forecasting as a top-K sequence-level generation task, using beam search for efficiently generating next-entity distribution in a single forward pass. (2) TKG Adapter for Refinement, which employs traditional TKG models as trainable proxy adapters to leverage global graph information and refine LLM outputs, overcoming both the input length and the resource-intensive fine-tuning problems. Experiments across diverse datasets validate SPARK's forecasting performance, robust generalization capabilities, and high efficiency. We release source codes at https://github.com/yin-gz/SPARK.
• Abstract（参考訳）: 時系列知識グラフ(TKG)予測は,過去のデータを用いた将来の事象の予測に不可欠である。 LLM(Large Language Models)の急増に伴い、最近の研究はTKG予測への統合を探求し、いくつかの成功を収めている。 しかし、入力長の制限、非効率な出力生成、リソース集約的な改善など、パフォーマンスや実用性を損なう制限に直面している。 これらの制約に対処するために、TKG予測においてLLMを精製するためのシーケンスレベルのプロキシ適応フレームワークであるSPARKを導入する。 1)ビームシーケンスレベル生成は、TKG予測をトップKシーケンスレベル生成タスクとして再設定し、ビームサーチを使用して、1つのフォワードパスで次エンタリティ分布を効率よく生成する。 2) TKG Adapter for Refinementは,従来のTKGモデルを訓練可能なプロキシアダプタとして使用して,グローバルグラフ情報を活用し,LLM出力を洗練し,入力長とリソース集約的な微調整問題を克服する。 多様なデータセットにわたる実験は、SPARKの予測性能、堅牢な一般化能力、高効率を検証している。 ソースコードはhttps://github.com/yin-gz/SPARK.comで公開しています。

関連論文リスト

• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次のトークン予測は,大規模言語モデル(LLM)のトレーニングの基本原則である シーングラフデータセット上で,教師付き微調整(SFT)により学習したマルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 ノードレベルの報酬、エッジレベルの報酬、フォーマットの整合性報酬を統合したグラフ中心の報酬関数を設計する。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• Exploring the Potential of Large Language Models as Predictors in Dynamic Text-Attributed Graphs [23.655368505970443]
  我々は,動的グラフの予測タスクに大規模言語モデル (LLM) を考案した。 協調LLMを利用したマルチエージェントシステムであるGraphAgent-Dynamic (GAD) フレームワークを提案する。 GADはグローバルおよびローカルの要約エージェントを組み込んでドメイン固有の知識を生成し、ドメイン間の転送可能性を高める。
  論文  参考訳（メタデータ） (2025-03-05T08:28:11Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Simple Is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation [9.844598565914055]
  大きな言語モデル(LLM)は強い推論能力を示すが、幻覚や時代遅れの知識のような制限に直面している。 本稿では、サブグラフを検索する知識グラフ(KG)ベースのRetrieval-Augmented Generation(RAG)フレームワークを拡張するSubgraphRAGを紹介する。 提案手法は,高効率かつフレキシブルなサブグラフ検索を実現するために,並列3重装飾機構を備えた軽量多層パーセプトロンを革新的に統合する。
  論文  参考訳（メタデータ） (2024-10-28T04:39:32Z)
• Beam Prediction based on Large Language Models [51.45077318268427]
  時系列予測タスクとしてミリ波(mmWave)ビーム予測問題を定式化する。 我々は、歴史的観測をトレーニング可能なトークン化器を用いてテキストベースの表現に変換する。 提案手法はLLMのパワーを利用して将来の最適ビームを予測する。
  論文  参考訳（メタデータ） (2024-08-16T12:40:01Z)
• Efficiency Unleashed: Inference Acceleration for LLM-based Recommender Systems with Speculative Decoding [61.45448947483328]
  LLMベースのレコメンダシステム(LASER)の投機的復号化によるロスレス高速化について紹介する。 LASERは、検索効率を高めるためのカスタマイズされた検索プールと、ドラフトトークンの受け入れ率を改善するための緩和検証を備えている。 LASERは公開データセットの3～5倍のスピードアップを実現し、オンラインA/Bテスト中に約67%の計算リソースを節約する。
  論文  参考訳（メタデータ） (2024-08-11T02:31:13Z)
• CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
  MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。 分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。 CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-03-12T04:04:38Z)
• TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models [27.306180426294784]
  大規模言語モデル(LLM)を利用した新しい交通予測フレームワークであるTPLLMを紹介する。 本フレームワークでは,Lonal Neural Networks (LoCNNs) に基づくシーケンス埋め込み層と,Graph Contemporalal Networks (GCNs) に基づくグラフ埋め込み層を構築し,シーケンスの特徴と空間的特徴を抽出する。 実世界の2つのデータセットの実験では、フルサンプルと数ショットの予測シナリオの両方で、満足できるパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-03-04T17:08:57Z)
• Chain-of-History Reasoning for Temporal Knowledge Graph Forecasting [32.711428457485596]
  時間的知識グラフ(TKG)予測は、与えられた履歴に基づいて将来の事実を予測することを目的としている。 最近のグラフベースのモデルでは、TKG内の構造情報の取得が優れているが、意味的理解能力は欠如している。 本稿では,高次歴史を段階的に探求する『歴史の連鎖』(CoH)推論を提案する。
  論文  参考訳（メタデータ） (2024-02-22T08:51:39Z)
• GenTKG: Generative Forecasting on Temporal Knowledge Graph with Large Language Models [35.594662986581746]
  大規模言語モデル (LLM) は、従来の埋め込みベースおよびルールベースの手法が支配する時間的知識グラフ (tKG) 領域に関心を抱いている。 本稿では、時間的論理ルールに基づく検索戦略と、パラメータ効率の少ない命令チューニングを組み合わせた、GenTKGという新しい検索拡張生成フレームワークを提案する。 実験により、GenTKGは計算資源の少ない時間的関係予測法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-11T18:27:12Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。