論文の概要: RoTHP: Rotary Position Embedding-based Transformer Hawkes Process
- arxiv url: http://arxiv.org/abs/2405.06985v1
- Date: Sat, 11 May 2024 10:59:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 19:07:50.063570
- Title: RoTHP: Rotary Position Embedding-based Transformer Hawkes Process
- Title（参考訳）: RoTHP:回転位置埋め込み型変圧器ホークスプロセス
- Authors: Anningzhe Gao, Shan Dai,
- Abstract要約: テンポラルポイントプロセス(TPP)は、非同期イベントシーケンスデータのモデリングに一般的に使用される。
本稿では,新しいロータリー位置埋め込み型THPアーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Temporal Point Processes (TPPs), especially Hawkes Process are commonly used for modeling asynchronous event sequences data such as financial transactions and user behaviors in social networks. Due to the strong fitting ability of neural networks, various neural Temporal Point Processes are proposed, among which the Neural Hawkes Processes based on self-attention such as Transformer Hawkes Process (THP) achieve distinct performance improvement. Although the THP has gained increasing studies, it still suffers from the {sequence prediction issue}, i.e., training on history sequences and inferencing about the future, which is a prevalent paradigm in realistic sequence analysis tasks. What's more, conventional THP and its variants simply adopt initial sinusoid embedding in transformers, which shows performance sensitivity to temporal change or noise in sequence data analysis by our empirical study. To deal with the problems, we propose a new Rotary Position Embedding-based THP (RoTHP) architecture in this paper. Notably, we show the translation invariance property and {sequence prediction flexibility} of our RoTHP induced by the {relative time embeddings} when coupled with Hawkes process theoretically. Furthermore, we demonstrate empirically that our RoTHP can be better generalized in sequence data scenarios with timestamp translations and in sequence prediction tasks.
- Abstract（参考訳）: テンポラルポイント・プロセス(TPP)、特にホークス・プロセスは、金融取引やユーザー行動などの非同期イベントシーケンスデータをソーシャルネットワークでモデリングするのに一般的に使用される。
ニューラルネットワークの強い適合性のため、様々な時間点過程が提案され、トランスフォーマー・ホークス・プロセス(THP)のような自己注意に基づくニューラル・ホークス・プロセスは、異なる性能向上を実現している。
THPは研究が増えているが、歴史系列のトレーニングや、現実的なシーケンス解析タスクにおいて広く見られるパラダイムである未来についての推論といった『シーケンス予測問題』に悩まされている。
さらに、従来のTHPとその変種は、単に変圧器に初期正弦波を埋め込むだけで、我々の経験的な研究により、時系列データ解析における時間的変化やノイズに対する性能感受性を示す。
本稿では,Rotary Position Embedding-based THP (RoTHP) アーキテクチャを提案する。
特に、理論的にホークス過程と結合した場合に、相対時間埋め込みによって誘導されるRoTHPの変換不変性および {sequence prediction flexibility} を示す。
さらに、我々のRoTHPは、タイムスタンプ変換を伴うシーケンスデータシナリオやシーケンス予測タスクにおいて、より一般化できることを実証的に示す。
関連論文リスト
- Non-asymptotic Convergence of Training Transformers for Next-token Prediction [48.9399496805422]
トランスフォーマーは、シーケンシャルなデータを扱う優れた能力のために、現代の機械学習において驚くべき成功を収めています。
本稿では, 単層変圧器のトレーニング力学の微細な非漸近解析を行う。
トレーニングされたトランスフォーマーは,データセットシフトによる非トーケン予測能力を示すことを示す。
論文 参考訳（メタデータ） (2024-09-25T20:22:06Z) - PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。
この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。
本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2024-08-20T01:56:07Z) - State Sequences Prediction via Fourier Transform for Representation
Learning [111.82376793413746]
本研究では,表現表現を効率よく学習する新しい方法である,フーリエ変換(SPF)による状態列予測を提案する。
本研究では,状態系列における構造情報の存在を理論的に解析する。
実験により,提案手法はサンプル効率と性能の両面で,最先端のアルゴリズムよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-10-24T14:47:02Z) - Temporal Attention Augmented Transformer Hawkes Process [4.624987488467739]
新しいタイプのトランスフォーマーベースホークスプロセスモデル、テンポラルアテンション強化トランスフォーマーホークスプロセス(TAA-THP)を考案した。
従来の点積アテンション構造を修正し、テンポラルエンコーディングをアテンション構造に導入する。
提案したTAA-THPモデルの性能を評価するために, 広範囲の合成および実生活データセットについて多数の実験を行った。
論文 参考訳（メタデータ） (2021-12-29T09:45:23Z) - Transformers predicting the future. Applying attention in next-frame and
time series forecasting [0.0]
繰り返しニューラルネットワークは、最近まで、シーケンス内のタイムリーな依存関係をキャプチャする最良の方法の1つでした。
トランスフォーマーの導入により、RNNのない注意機構しか持たないアーキテクチャが、様々なシーケンス処理タスクの結果を改善することが証明された。
論文 参考訳（メタデータ） (2021-08-18T16:17:29Z) - Stochastically forced ensemble dynamic mode decomposition for
forecasting and analysis of near-periodic systems [65.44033635330604]
本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。
固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。
電力グリッドからの負荷データを用いたテストケースの結果が提示される。
論文 参考訳（メタデータ） (2020-10-08T20:25:52Z) - Meta-Learning Stationary Stochastic Process Prediction with
Convolutional Neural Processes [32.02612871707347]
提案するConvNPは,ニューラルプロセス(NP)に翻訳等価性を付与し,畳み込み条件NPを拡張して予測分布への依存性を許容する。
本研究では,1DにおけるConvNPの強い性能と一般化能力,回帰画像補完,実時間データを用いた各種タスクについて述べる。
論文 参考訳（メタデータ） (2020-07-02T18:25:27Z) - Supporting Optimal Phase Space Reconstructions Using Neural Network
Architecture for Time Series Modeling [68.8204255655161]
位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。
私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
論文 参考訳（メタデータ） (2020-06-19T21:04:47Z) - Modeling of Spatio-Temporal Hawkes Processes with Randomized Kernels [15.556686221927501]
犯罪予測や交通予測など,イベントプロセスのダイナミクスを推測する実践的応用が盛んである。
イベント発生間の励起を捕捉する能力によって一般的に使用される,社会的時間的ホークスプロセスについて紹介する。
空間カーネルの計算をランダム化変換と勾配降下で置き換え,その過程を学習する。
論文 参考訳（メタデータ） (2020-03-07T22:21:06Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。