論文の概要: TPP-LLM: Modeling Temporal Point Processes by Efficiently Fine-Tuning Large Language Models
- arxiv url: http://arxiv.org/abs/2410.02062v1
- Date: Wed, 2 Oct 2024 22:17:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 09:15:24.919960
- Title: TPP-LLM: Modeling Temporal Point Processes by Efficiently Fine-Tuning Large Language Models
- Title（参考訳）: TPP-LLM:大規模言語モデルによる時間点過程のモデル化
- Authors: Zefang Liu, Yinzhu Quan,
- Abstract要約: 時間的ポイントプロセス(TPP)は、ソーシャルネットワーク、交通システム、eコマースなどのドメインにおけるイベントのタイミングと発生をモデル化するために広く用いられている。
イベントシーケンスのセマンティックな側面と時間的側面の両方をキャプチャするために,大規模言語モデル(LLM)とTPPを統合する新しいフレームワークであるTPP-LLMを紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Temporal point processes (TPPs) are widely used to model the timing and occurrence of events in domains such as social networks, transportation systems, and e-commerce. In this paper, we introduce TPP-LLM, a novel framework that integrates large language models (LLMs) with TPPs to capture both the semantic and temporal aspects of event sequences. Unlike traditional methods that rely on categorical event type representations, TPP-LLM directly utilizes the textual descriptions of event types, enabling the model to capture rich semantic information embedded in the text. While LLMs excel at understanding event semantics, they are less adept at capturing temporal patterns. To address this, TPP-LLM incorporates temporal embeddings and employs parameter-efficient fine-tuning (PEFT) methods to effectively learn temporal dynamics without extensive retraining. This approach improves both predictive accuracy and computational efficiency. Experimental results across diverse real-world datasets demonstrate that TPP-LLM outperforms state-of-the-art baselines in sequence modeling and event prediction, highlighting the benefits of combining LLMs with TPPs.
- Abstract（参考訳）: 時間的ポイントプロセス(TPP)は、ソーシャルネットワーク、交通システム、eコマースなどのドメインにおけるイベントのタイミングと発生をモデル化するために広く用いられている。
本稿では,大規模言語モデル(LLM)をTPPと統合し,イベントシーケンスの意味的側面と時間的側面の両方を捉える新しいフレームワークであるTPP-LLMを紹介する。
分類的なイベント型表現に依存する従来の方法とは異なり、TPP-LLMは、イベントタイプのテキスト記述を直接利用し、モデルがテキストに埋め込まれたリッチなセマンティック情報をキャプチャすることを可能にする。
LLMはイベントセマンティクスの理解に優れていますが、時間的パターンのキャプチャには適していません。
これを解決するため、TPP-LLMは時間的埋め込みを導入し、パラメータ効率の微調整(PEFT)手法を用いて時間的ダイナミクスを広範囲のトレーニングなしに効果的に学習する。
このアプローチは予測精度と計算効率の両方を改善する。
実世界の様々なデータセットに対する実験結果から、TPP-LLMはシーケンスモデリングとイベント予測において最先端のベースラインよりも優れており、TLPとLPMを組み合わせる利点が強調されている。
関連論文リスト
- Marked Temporal Bayesian Flow Point Processes [32.04732953059373]
マーク付きイベントデータは、連続値のイベントタイムスタンプと対応する離散値の型を記録して、イベントをキャプチャする。
本稿では,BMTPPと呼ばれる新しいMTPPモデルを提案する。
論文 参考訳（メタデータ） (2024-10-25T12:32:43Z) - Efficient Retrieval of Temporal Event Sequences from Textual Descriptions [0.0]
TPP-LLM-Embeddingは、自然言語記述に基づくイベントシーケンスの埋め込みと検索のための統一モデルである。
我々のモデルはイベントタイプと時間の両方をエンコードし、プールを通してシーケンスレベルの表現を生成します。
TPP-LLM-Embeddingは効率的な検索を可能にし、多様なデータセットのベースラインモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-17T21:35:55Z) - Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding [57.62275091656578]
時間的複合イベント(TCE)として、長い期間にわたって多くのニュース記事から構成される複合イベントについて述べる。
本稿では,Large Language Models (LLMs) を用いて,TCE内のイベントチェーンを系統的に抽出し,解析する手法を提案する。
論文 参考訳（メタデータ） (2024-06-04T16:42:17Z) - CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。
最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。
CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文 参考訳（メタデータ） (2024-05-17T07:43:25Z) - Cumulative Distribution Function based General Temporal Point Processes [49.758080415846884]
CuFunモデルは、累積分布関数(CDF)を中心に回転するTPPに対する新しいアプローチを表す
提案手法は従来のTPPモデリングに固有のいくつかの重要な問題に対処する。
コントリビューションには、先駆的なCDFベースのTPPモデルの導入、過去の事象情報を将来の事象予測に組み込む方法論の開発が含まれている。
論文 参考訳（メタデータ） (2024-02-01T07:21:30Z) - FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。
CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。
事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。
本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
論文 参考訳（メタデータ） (2023-10-30T11:25:03Z) - Prompt-augmented Temporal Point Process for Streaming Event Sequence [18.873915278172095]
本稿では,ニューラル・テンポラル・ポイント・プロセス(TPP)モデルを継続的に監視するための新しいフレームワークを提案する。
PromptTPPは、3つの実際のユーザ行動データセットにわたって、最先端のパフォーマンスを一貫して達成する。
論文 参考訳（メタデータ） (2023-10-08T03:41:16Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - Intensity-free Convolutional Temporal Point Process: Incorporating Local
and Global Event Contexts [30.534921874640585]
本稿では、連続時間畳み込みイベントエンコーダとRNNを統合することにより、ローカルコンテキストとグローバルコンテキストを組み合わせた新しいTPPモデリング手法を提案する。
提示されたフレームワークは柔軟でスケーラブルで、長いシーケンスと複雑な潜伏パターンを持つ大きなデータセットを扱うことができる。
我々の知る限りでは、これはTPPモデリングに畳み込みニューラルネットワークを適用する最初の研究である。
論文 参考訳（メタデータ） (2023-06-24T22:57:40Z) - How Does In-Context Learning Help Prompt Tuning? [55.78535874154915]
微調整された大きな言語モデルは、急速に拡大するスケールのために、ますます実用的ではないものになりつつある。
これはプロンプトチューニング(PT)のようなパラメータ効率のよい適応手法の使用を動機付け、凍ったモデルに少数のチューナブルな埋め込みを追加する。
近年,Singhalら (2022) はPTとICLを組み合わせた命令プロンプトチューニング (IPT) を提案している。
論文 参考訳（メタデータ） (2023-02-22T17:45:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。