論文の概要: Tri-Transformer Hawkes Process: Three Heads are better than one
- arxiv url: http://arxiv.org/abs/2112.13058v1
- Date: Fri, 24 Dec 2021 13:27:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-29 13:27:44.034667
- Title: Tri-Transformer Hawkes Process: Three Heads are better than one
- Title（参考訳）: tri-transformer hawkesプロセス: 3つの頭は1つより優れている
- Authors: Zhi-yan Song, Jian-wei Liu, Lu-ning Zhang, and Ya-nan Han
- Abstract要約: 本稿では,Tri-THP(Tri-Transformer Hawkes Process)モデルを提案する。
Tri-THPの有効性は、実世界と合成データの双方でよく設計された実験によって証明されている。
- 参考スコア（独自算出の注目度）: 3.8486908093231134
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Abstract. Most of the real world data we encounter are asynchronous event
sequence, so the last decades have been characterized by the implementation of
various point process into the field of social networks,electronic medical
records and financial transactions. At the beginning, Hawkes process and its
variants which can simulate simultaneously the self-triggering and mutual
triggering patterns between different events in complex sequences in a clear
and quantitative way are more popular.Later on, with the advances of neural
network, neural Hawkes process has been proposed one after another, and
gradually become a research hotspot. The proposal of the transformer Hawkes
process (THP) has gained a huge performance improvement, so a new upsurge of
the neural Hawkes process based on transformer is set off. However, THP does
not make full use of the information of occurrence time and type of event in
the asynchronous event sequence. It simply adds the encoding of event type
conversion and the location encoding of time conversion to the source encoding.
At the same time, the learner built from a single transformer will result in an
inescapable learning bias. In order to mitigate these problems, we propose a
tri-transformer Hawkes process (Tri-THP) model, in which the event and time
information are added to the dot-product attention as auxiliary information to
form a new multihead attention. The effectiveness of the Tri-THP is proved by a
series of well-designed experiments on both real world and synthetic data.
- Abstract（参考訳）: 抽象。
私たちが遭遇する現実世界のデータのほとんどは非同期イベントシーケンスであり、過去数十年は、ソーシャルネットワーク、電子医療記録、金融取引の分野への様々なポイントプロセスの実装が特徴である。
初めは、複雑配列における異なる事象間の相互トリガーパターンを同時にシミュレートできるホークス過程とその変種が一般的であり、ニューラルネットワークの進歩とともに、ニューラルホークスプロセスが次々と提案され、徐々に研究ホットスポットとなっている。
変圧器ホークスプロセス (THP) の提案は大幅に性能が向上し, 変圧器に基づくニューラルホークスプロセスの新たなアップサージが開始された。
しかし、THPは非同期イベントシーケンスにおける発生時間やイベントの種類に関する情報を完全に利用していない。
単にイベントタイプ変換のエンコーディングと、ソースエンコーディングに時間変換のロケーションエンコーディングを追加するだけである。
同時に、単一の変換器から構築された学習者は、不可能な学習バイアスをもたらす。
これらの問題を緩和するため,我々は,イベントと時間情報をドット製品注目に付加し,新たなマルチヘッド注目を形成するトリトランスフォーマホークスプロセス(tri-thp)モデルを提案する。
Tri-THPの有効性は、実世界と合成データの双方でよく設計された実験によって証明されている。
関連論文リスト
- Spiking Tucker Fusion Transformer for Audio-Visual Zero-Shot Learning [30.51005522218133]
音声・視覚ゼロショット学習のための新しいSTFT(Spking Tucker Fusion Transformer)を提案する。
STFTは、異なる時間ステップからの時間的および意味的な情報を活用して、堅牢な表現を生成する。
本稿では,最大と平均のプール操作を組み合わせたグローバルローカルプール(GLP)を提案する。
論文 参考訳（メタデータ） (2024-07-11T02:01:26Z) - Deciphering Movement: Unified Trajectory Generation Model for Multi-Agent [53.637837706712794]
任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。
具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを導入する。
バスケットボール-U,サッカー-U,サッカー-Uの3つの実用的なスポーツゲームデータセットをベンチマークして評価を行った。
論文 参考訳（メタデータ） (2024-05-27T22:15:23Z) - RoTHP: Rotary Position Embedding-based Transformer Hawkes Process [0.0]
テンポラルポイントプロセス(TPP)は、非同期イベントシーケンスデータのモデリングに一般的に使用される。
本稿では,新しいロータリー位置埋め込み型THPアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-05-11T10:59:09Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳（メタデータ） (2023-02-20T07:46:14Z) - Universal Transformer Hawkes Process with Adaptive Recursive Iteration [4.624987488467739]
非同期イベントシーケンスは、自然界に広く分布し、地震記録、ソーシャルメディアでのユーザ活動など人間の活動も行われている。
これらの不規則なデータから情報を抽出する方法は、研究者が注目する永続的なトピックである。
最も有用なモデルの1つは点過程モデルであり、それに基づいて、研究者は多くの顕著な結果を得る。
近年、ニューラルネットワークの基礎となるポイントプロセスモデル、特にリカレントニューラルネットワーク(RNN)が提案され、従来のモデルと比較され、その性能が大幅に向上している。
論文 参考訳（メタデータ） (2021-12-29T09:55:12Z) - Temporal Attention Augmented Transformer Hawkes Process [4.624987488467739]
新しいタイプのトランスフォーマーベースホークスプロセスモデル、テンポラルアテンション強化トランスフォーマーホークスプロセス(TAA-THP)を考案した。
従来の点積アテンション構造を修正し、テンポラルエンコーディングをアテンション構造に導入する。
提案したTAA-THPモデルの性能を評価するために, 広範囲の合成および実生活データセットについて多数の実験を行った。
論文 参考訳（メタデータ） (2021-12-29T09:45:23Z) - Nonlinear Hawkes Processes in Time-Varying System [37.80255010291703]
ホークス過程(英: Hawkes process)は、自己および相互興奮現象をモデル化する能力を持つ点過程のクラスである。
この研究は、状態プロセスが点プロセスと相互作用するために組み込まれているフレキシブルで非線形で非均一な変種を提案する。
推論には潜時変数拡張法を用いて2つの効率的なベイズ推論アルゴリズムを設計する。
論文 参考訳（メタデータ） (2021-06-09T07:06:05Z) - Deep Transformer Networks for Time Series Classification: The NPP Safety
Case [59.20947681019466]
時間依存nppシミュレーションデータをモデル化するために、教師付き学習方法でトランスフォーマと呼ばれる高度なテンポラルニューラルネットワークを使用する。
トランスはシーケンシャルデータの特性を学習し、テストデータセット上で約99%の分類精度で有望な性能が得られる。
論文 参考訳（メタデータ） (2021-04-09T14:26:25Z) - Finetuning Pretrained Transformers into RNNs [81.72974646901136]
トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。
線形複雑リカレント変種は自己回帰生成に適していることが証明されている。
この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
論文 参考訳（メタデータ） (2021-03-24T10:50:43Z) - Contrastive Triple Extraction with Generative Transformer [72.21467482853232]
生成変換器を用いた新しい3重抽出モデルを提案する。
具体的には,エンコーダデコーダをベースとした1つの共有トランスフォーマモジュールを提案する。
忠実な結果を得るために,新しい三重項コントラストトレーニングオブジェクトを提案する。
論文 参考訳（メタデータ） (2020-09-14T05:29:24Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。