論文の概要: TPP-LLM: Modeling Temporal Point Processes by Efficiently Fine-Tuning Large Language Models
- arxiv url: http://arxiv.org/abs/2410.02062v1
- Date: Wed, 02 Oct 2024 22:17:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 17:55:17.769048
- Title: TPP-LLM: Modeling Temporal Point Processes by Efficiently Fine-Tuning Large Language Models
- Title(参考訳): TPP-LLM:大規模言語モデルによる時間点過程のモデル化
- Authors: Zefang Liu, Yinzhu Quan,
- Abstract要約: 時間的ポイントプロセス(TPP)は、ソーシャルネットワーク、交通システム、eコマースなどのドメインにおけるイベントのタイミングと発生をモデル化するために広く用いられている。
イベントシーケンスのセマンティックな側面と時間的側面の両方をキャプチャするために,大規模言語モデル(LLM)とTPPを統合する新しいフレームワークであるTPP-LLMを紹介する。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Temporal point processes (TPPs) are widely used to model the timing and occurrence of events in domains such as social networks, transportation systems, and e-commerce. In this paper, we introduce TPP-LLM, a novel framework that integrates large language models (LLMs) with TPPs to capture both the semantic and temporal aspects of event sequences. Unlike traditional methods that rely on categorical event type representations, TPP-LLM directly utilizes the textual descriptions of event types, enabling the model to capture rich semantic information embedded in the text. While LLMs excel at understanding event semantics, they are less adept at capturing temporal patterns. To address this, TPP-LLM incorporates temporal embeddings and employs parameter-efficient fine-tuning (PEFT) methods to effectively learn temporal dynamics without extensive retraining. This approach improves both predictive accuracy and computational efficiency. Experimental results across diverse real-world datasets demonstrate that TPP-LLM outperforms state-of-the-art baselines in sequence modeling and event prediction, highlighting the benefits of combining LLMs with TPPs.
- Abstract(参考訳): 時間的ポイントプロセス(TPP)は、ソーシャルネットワーク、交通システム、eコマースなどのドメインにおけるイベントのタイミングと発生をモデル化するために広く用いられている。
本稿では,大規模言語モデル(LLM)をTPPと統合し,イベントシーケンスの意味的側面と時間的側面の両方を捉える新しいフレームワークであるTPP-LLMを紹介する。
分類的なイベント型表現に依存する従来の方法とは異なり、TPP-LLMは、イベントタイプのテキスト記述を直接利用し、モデルがテキストに埋め込まれたリッチなセマンティック情報をキャプチャすることを可能にする。
LLMはイベントセマンティクスの理解に優れていますが、時間的パターンのキャプチャには適していません。
これを解決するため、TPP-LLMは時間的埋め込みを導入し、パラメータ効率の微調整(PEFT)手法を用いて時間的ダイナミクスを広範囲のトレーニングなしに効果的に学習する。
このアプローチは予測精度と計算効率の両方を改善する。
実世界の様々なデータセットに対する実験結果から、TPP-LLMはシーケンスモデリングとイベント予測において最先端のベースラインよりも優れており、TLPとLPMを組み合わせる利点が強調されている。
関連論文リスト
- Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding [57.62275091656578]
時間的複合イベント(TCE)として、長い期間にわたって多くのニュース記事から構成される複合イベントについて述べる。
本稿では,Large Language Models (LLMs) を用いて,TCE内のイベントチェーンを系統的に抽出し,解析する手法を提案する。
論文 参考訳(メタデータ) (2024-06-04T16:42:17Z) - Cumulative Distribution Function based General Temporal Point Processes [49.758080415846884]
CuFunモデルは、累積分布関数(CDF)を中心に回転するTPPに対する新しいアプローチを表す
提案手法は従来のTPPモデリングに固有のいくつかの重要な問題に対処する。
コントリビューションには、先駆的なCDFベースのTPPモデルの導入、過去の事象情報を将来の事象予測に組み込む方法論の開発が含まれている。
論文 参考訳(メタデータ) (2024-02-01T07:21:30Z) - SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation [56.913182262166316]
CoIG(Chain-of-Information Generation)は、大規模音声生成において意味情報と知覚情報を分離する手法である。
SpeechGPT-Genはセマンティックおよび知覚情報モデリングにおいて効率的である。
ゼロショット音声変換、ゼロショット音声変換、音声音声対話に優れる。
論文 参考訳(メタデータ) (2024-01-24T15:25:01Z) - FLIP: Towards Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
本稿では,クリックスルー率(CTR)予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
具体的には、1つのモダリティ(トークンや特徴)のマスキングされたデータは、他のモダリティの助けを借りて回復し、特徴レベルの相互作用とアライメントを確立する必要がある。
3つの実世界のデータセットの実験により、FLIPはSOTAベースラインより優れており、様々なIDベースのモデルやPLMと高い互換性を持つことが示された。
論文 参考訳(メタデータ) (2023-10-30T11:25:03Z) - Prompt-augmented Temporal Point Process for Streaming Event Sequence [18.873915278172095]
本稿では,ニューラル・テンポラル・ポイント・プロセス(TPP)モデルを継続的に監視するための新しいフレームワークを提案する。
PromptTPPは、3つの実際のユーザ行動データセットにわたって、最先端のパフォーマンスを一貫して達成する。
論文 参考訳(メタデータ) (2023-10-08T03:41:16Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳(メタデータ) (2023-10-03T01:31:25Z) - Enhancing Asynchronous Time Series Forecasting with Contrastive
Relational Inference [21.51753838306655]
時間点プロセス(TPP)は、そのようなモデリングの標準的な方法である。
既存のTPPモデルは、イベントの相互作用を明示的にモデル化する代わりに、将来のイベントの条件分布に焦点を当てており、イベント予測の課題を示唆している。
本稿では,ニューラル推論(NRI)を利用して,観測データから動的パターンを同時に学習しながら,相互作用を推論するグラフを学習する手法を提案する。
論文 参考訳(メタデータ) (2023-09-06T09:47:03Z) - Intensity-free Convolutional Temporal Point Process: Incorporating Local
and Global Event Contexts [30.534921874640585]
本稿では、連続時間畳み込みイベントエンコーダとRNNを統合することにより、ローカルコンテキストとグローバルコンテキストを組み合わせた新しいTPPモデリング手法を提案する。
提示されたフレームワークは柔軟でスケーラブルで、長いシーケンスと複雑な潜伏パターンを持つ大きなデータセットを扱うことができる。
我々の知る限りでは、これはTPPモデリングに畳み込みニューラルネットワークを適用する最初の研究である。
論文 参考訳(メタデータ) (2023-06-24T22:57:40Z) - How Does In-Context Learning Help Prompt Tuning? [55.78535874154915]
微調整された大きな言語モデルは、急速に拡大するスケールのために、ますます実用的ではないものになりつつある。
これはプロンプトチューニング(PT)のようなパラメータ効率のよい適応手法の使用を動機付け、凍ったモデルに少数のチューナブルな埋め込みを追加する。
近年,Singhalら (2022) はPTとICLを組み合わせた命令プロンプトチューニング (IPT) を提案している。
論文 参考訳(メタデータ) (2023-02-22T17:45:12Z) - Meta Temporal Point Processes [13.525125302111844]
時間点過程 (TPP) は、その実現が時間内の離散事象の連続である過程である。
TPPにおける最近の研究は、教師付き学習フレームワークにおけるニューラルネットワークを用いたプロセスをモデル化している。
我々は,各シーケンスを異なるタスクとして扱うメタ学習フレームワークにおいて,TPPを訓練することを提案する。
論文 参考訳(メタデータ) (2023-01-27T23:21:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。