論文の概要: Transformer Hawkes Process

• arxiv url: http://arxiv.org/abs/2002.09291v5
• Date: Sun, 21 Feb 2021 01:59:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 00:44:30.051723
• Title: Transformer Hawkes Process
• Title（参考訳）: 変圧器ホークスプロセス
• Authors: Simiao Zuo, Haoming Jiang, Zichong Li, Tuo Zhao, Hongyuan Zha
• Abstract要約: 本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
• 参考スコア（独自算出の注目度）: 79.16290557505211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern data acquisition routinely produce massive amounts of event sequence data in various domains, such as social media, healthcare, and financial markets. These data often exhibit complicated short-term and long-term temporal dependencies. However, most of the existing recurrent neural network based point process models fail to capture such dependencies, and yield unreliable prediction performance. To address this issue, we propose a Transformer Hawkes Process (THP) model, which leverages the self-attention mechanism to capture long-term dependencies and meanwhile enjoys computational efficiency. Numerical experiments on various datasets show that THP outperforms existing models in terms of both likelihood and event prediction accuracy by a notable margin. Moreover, THP is quite general and can incorporate additional structural knowledge. We provide a concrete example, where THP achieves improved prediction performance for learning multiple point processes when incorporating their relational information.
• Abstract（参考訳）: 現代のデータ取得は、ソーシャルメディア、ヘルスケア、金融市場など、さまざまなドメインで大量のイベントシーケンスデータを生成する。 これらのデータは、しばしば複雑な短期および長期の時間的依存関係を示す。 しかし、既存のリカレントニューラルネットワークベースのポイントプロセスモデルのほとんどは、そのような依存関係を捕捉できず、信頼性の低い予測性能をもたらす。 この問題に対処するために,長期依存を捕捉する自己保持機構を活用し,計算効率を享受するトランスフォーマーホークスプロセス(THP)モデルを提案する。 様々なデータセットの数値実験により、THPは既存のモデルよりも、顕著なマージンによる可能性と事象予測の精度の両方において優れていることが示された。 さらに、thpは非常に一般的であり、追加の構造知識を組み込むことができる。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習するための予測性能の改善を実現する具体例を示す。

関連論文リスト

• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• RoTHP: Rotary Position Embedding-based Transformer Hawkes Process [0.0]
  テンポラルポイントプロセス(TPP)は、非同期イベントシーケンスデータのモデリングに一般的に使用される。 本稿では,新しいロータリー位置埋め込み型THPアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-05-11T10:59:09Z)
• PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from the perspective of partial differential equations [49.80959046861793]
  本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。 7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
  論文  参考訳（メタデータ） (2024-02-25T17:39:44Z)
• Cumulative Distribution Function based General Temporal Point Processes [49.758080415846884]
  CuFunモデルは、累積分布関数(CDF)を中心に回転するTPPに対する新しいアプローチを表す 提案手法は従来のTPPモデリングに固有のいくつかの重要な問題に対処する。 コントリビューションには、先駆的なCDFベースのTPPモデルの導入、過去の事象情報を将来の事象予測に組み込む方法論の開発が含まれている。
  論文  参考訳（メタデータ） (2024-02-01T07:21:30Z)
• MPR-Net:Multi-Scale Pattern Reproduction Guided Universality Time Series Interpretable Forecasting [13.790498420659636]
  時系列予測は、その広範な応用が本質的に困難なため、既存の研究から幅広い関心を集めている。 本稿では,まず,畳み込み操作を用いてマルチスケールの時系列パターンを適応的に分解し,パターン再現の既知に基づいてパターン拡張予測手法を構築し,最終的に畳み込み操作を用いて将来的なパターンを再構築する。 時系列に存在する時間的依存関係を活用することで、MPR-Netは線形時間複雑性を達成するだけでなく、予測プロセスも解釈できる。
  論文  参考訳（メタデータ） (2023-07-13T13:16:01Z)
• Discovering Predictable Latent Factors for Time Series Forecasting [39.08011991308137]
  我々は,観測可能な時系列によって示唆される本質的な潜伏因子を推定するための新しい枠組みを開発する。 予測可能性,充足性,識別性という3つの特性を導入し,これらの特性を強力な潜伏力学モデルを用いてモデル化する。 複数の実データに対する実験結果から, 時系列予測の手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2023-03-18T14:37:37Z)
• Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
  天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。 時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。 我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。 提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
  論文  参考訳（メタデータ） (2022-10-02T06:58:49Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• Temporal Attention Augmented Transformer Hawkes Process [4.624987488467739]
  新しいタイプのトランスフォーマーベースホークスプロセスモデル、テンポラルアテンション強化トランスフォーマーホークスプロセス(TAA-THP)を考案した。 従来の点積アテンション構造を修正し、テンポラルエンコーディングをアテンション構造に導入する。 提案したTAA-THPモデルの性能を評価するために, 広範囲の合成および実生活データセットについて多数の実験を行った。
  論文  参考訳（メタデータ） (2021-12-29T09:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。