論文の概要: Language-TPP: Integrating Temporal Point Processes with Language Models for Event Analysis

• arxiv url: http://arxiv.org/abs/2502.07139v1
• Date: Tue, 11 Feb 2025 00:09:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:10:00.919101
• Title: Language-TPP: Integrating Temporal Point Processes with Language Models for Event Analysis
• Title（参考訳）: Language-TPP:イベント分析のための言語モデルと時間点プロセスの統合
• Authors: Quyu Kong, Yixuan Zhang, Yang Liu, Panrong Tong, Enqi Liu, Feng Zhou,
• Abstract要約: テンポラルポイントプロセス(TPP)は、イベントシーケンスモデリングに広く用いられているが、リッチテキストのイベント記述を効果的に組み込むのに苦労することが多い。 本稿では,TPPをLLM(Large Language Models)と統合した統合フレームワークであるLanguage-TPPを紹介した。
• 参考スコア（独自算出の注目度）: 23.27520345839548
• License:
• Abstract: Temporal Point Processes (TPPs) have been widely used for event sequence modeling, but they often struggle to incorporate rich textual event descriptions effectively. Conversely, while Large Language Models (LLMs) have been shown remarkable capabilities in processing textual data, they lack mechanisms for handling temporal dynamics. To bridge this gap, we introduce Language-TPP, a unified framework that integrates TPPs with LLMs for enhanced event sequence modeling. Language-TPP introduces a novel temporal encoding mechanism that converts continuous time intervals into specialized byte-tokens, enabling seamless integration with standard LLM architectures. This approach allows Language-TPP to achieve state-of-the-art performance across multiple TPP tasks, including event time prediction, type prediction, and intensity estimation, on five datasets. Additionally, we demonstrate that incorporating temporal information significantly improves the quality of generated event descriptions.
• Abstract（参考訳）: 時間的ポイント・プロセス(TPP)は、イベント・シーケンス・モデリングに広く用いられているが、リッチ・テキスト・イベント記述を効果的に組み込むのに苦労することが多い。 逆に、Large Language Models (LLM) はテキストデータ処理において顕著な能力を示してきたが、時間的ダイナミクスを扱うメカニズムは欠如している。 このギャップを埋めるために、我々はLanguage-TPPを紹介します。これは、イベントシーケンスモデリングを強化するために、TLPとLLMを統合する統合フレームワークです。 Language-TPPは、連続時間間隔を特別なバイトトークンに変換する新しいテンポラリエンコーディング機構を導入し、標準LLMアーキテクチャとのシームレスな統合を可能にする。 このアプローチにより、Language-TPPは5つのデータセット上で、イベント時間予測、型予測、強度推定を含む、複数のTPPタスクにわたる最先端のパフォーマンスを達成することができる。 さらに、時間情報を組み込むことで、生成したイベント記述の品質が大幅に向上することを示す。

関連論文リスト

• Retrieval of Temporal Event Sequences from Textual Descriptions [0.0]
  TESRBenchはテキスト記述から時間的イベントシーケンスを検索するためのベンチマークである。 イベントシーケンスの埋め込みと検索のための新しいモデルであるTPP-Embeddingを提案する。 TPP-EmbeddingはTESRBenchデータセットのベースラインモデルよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-10-17T21:35:55Z)
• TPP-LLM: Modeling Temporal Point Processes by Efficiently Fine-Tuning Large Language Models [0.0]
  時間的ポイントプロセス(TPP)は、ソーシャルネットワーク、交通システム、eコマースなどのドメインにおけるイベントのタイミングと発生をモデル化するために広く用いられている。 イベントシーケンスのセマンティックな側面と時間的側面の両方をキャプチャするために,大規模言語モデル(LLM)とTPPを統合する新しいフレームワークであるTPP-LLMを紹介する。
  論文  参考訳（メタデータ） (2024-10-02T22:17:24Z)
• MM-Forecast: A Multimodal Approach to Temporal Event Forecasting with Large Language Models [55.5765505287505]
  大規模言語モデルを用いた多モーダル時間事象予測の新興かつ興味深い課題について検討する。 本稿では,画像が時間的事象予測のシナリオで果たす重要な2つの機能,すなわちハイライトと補完機能について述べる。 我々は,これらの関数記述を大規模言語モデルに組み込んだ,MM-Forecastという新しいフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-08-08T11:44:57Z)
• Towards Fast Multilingual LLM Inference: Speculative Decoding and Specialized Drafters [21.19251212483406]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらし、様々な商用アプリケーションに応用範囲を広げている。 本稿では,投機的復号化における補助モデルのトレーニング手法について検討し,将来のトークンを目標LLMで検証する。 言語固有のドラフトモデルは,対象とする事前訓練とファイントゥン戦略によって最適化され,従来の手法に比べて推論時間を大幅に短縮することを示す。
  論文  参考訳（メタデータ） (2024-06-24T16:06:50Z)
• Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding [57.62275091656578]
  時間的複合イベント(TCE)として、長い期間にわたって多くのニュース記事から構成される複合イベントについて述べる。 本稿では,Large Language Models (LLMs) を用いて,TCE内のイベントチェーンを系統的に抽出し,解析する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T16:42:17Z)
• Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models [24.784375155633427]
  BiTimeBERT 2.0は、テンポラリニュース記事コレクションに事前トレーニングされた新しい言語モデルである。 それぞれの目的は、時間情報のユニークな側面を目標としている。 その結果、BiTimeBERT 2.0はBERTや他の既存のトレーニング済みモデルよりも優れています。
  論文  参考訳（メタデータ） (2024-06-04T00:30:37Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• Cumulative Distribution Function based General Temporal Point Processes [49.758080415846884]
  CuFunモデルは、累積分布関数(CDF)を中心に回転するTPPに対する新しいアプローチを表す 提案手法は従来のTPPモデリングに固有のいくつかの重要な問題に対処する。 コントリビューションには、先駆的なCDFベースのTPPモデルの導入、過去の事象情報を将来の事象予測に組み込む方法論の開発が含まれている。
  論文  参考訳（メタデータ） (2024-02-01T07:21:30Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。