論文の概要: Universal Transformer Hawkes Process with Adaptive Recursive Iteration
- arxiv url: http://arxiv.org/abs/2112.14479v1
- Date: Wed, 29 Dec 2021 09:55:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-30 19:36:39.163218
- Title: Universal Transformer Hawkes Process with Adaptive Recursive Iteration
- Title（参考訳）: 適応的再帰イテレーションによるユニバーサルトランスフォーマーホークプロセス
- Authors: Lu-ning Zhang, Jian-wei Liu, Zhi-yan Song, Xin Zuo
- Abstract要約: 非同期イベントシーケンスは、自然界に広く分布し、地震記録、ソーシャルメディアでのユーザ活動など人間の活動も行われている。
これらの不規則なデータから情報を抽出する方法は、研究者が注目する永続的なトピックである。
最も有用なモデルの1つは点過程モデルであり、それに基づいて、研究者は多くの顕著な結果を得る。
近年、ニューラルネットワークの基礎となるポイントプロセスモデル、特にリカレントニューラルネットワーク(RNN)が提案され、従来のモデルと比較され、その性能が大幅に向上している。
- 参考スコア（独自算出の注目度）: 4.624987488467739
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Asynchronous events sequences are widely distributed in the natural world and
human activities, such as earthquakes records, users activities in social media
and so on. How to distill the information from these seemingly disorganized
data is a persistent topic that researchers focus on. The one of the most
useful model is the point process model, and on the basis, the researchers
obtain many noticeable results. Moreover, in recent years, point process models
on the foundation of neural networks, especially recurrent neural networks
(RNN) are proposed and compare with the traditional models, their performance
are greatly improved. Enlighten by transformer model, which can learning
sequence data efficiently without recurrent and convolutional structure,
transformer Hawkes process is come out, and achieves state-of-the-art
performance. However, there is some research proving that the re-introduction
of recursive calculations in transformer can further improve transformers
performance. Thus, we come out with a new kind of transformer Hawkes process
model, universal transformer Hawkes process (UTHP), which contains both
recursive mechanism and self-attention mechanism, and to improve the local
perception ability of the model, we also introduce convolutional neural network
(CNN) in the position-wise-feed-forward part. We conduct experiments on several
datasets to validate the effectiveness of UTHP and explore the changes after
the introduction of the recursive mechanism. These experiments on multiple
datasets demonstrate that the performance of our proposed new model has a
certain improvement compared with the previous state-of-the-art models.
- Abstract（参考訳）: 非同期イベントシーケンスは、自然界に広く分布し、地震記録、ソーシャルメディアでのユーザ活動など人間の活動も行われている。
これらの不規則なデータから情報を抽出する方法は、研究者が注目する永続的なトピックである。
最も有用なモデルの1つは点過程モデルであり、それに基づいて、研究者は多くの顕著な結果を得る。
また,近年では,ニューラルネットワーク,特にrecurrent neural networks (rnn) の基盤となる点過程モデルが提案され,従来のモデルと比較すると,その性能は大幅に向上している。
再帰的および畳み込み構造を必要とせず、効率的にシーケンスデータを学習できるトランスモデルにより、トランスフォーマーホークスプロセスが登場し、最先端の性能を達成する。
しかし, 変圧器における再帰的計算の再現により, 変圧器の性能が向上することを示す研究もある。
そこで我々は、再帰的機構と自己認識機構の両方を含む新しいタイプのトランスフォーマーホークスプロセスモデルUTHP(Universal Transformer Hawkes Process Model)を考案し、モデルの局所的な知覚能力を向上させるために、位置対応型フォワード部分に畳み込みニューラルネットワーク(CNN)を導入する。
我々は,UTHPの有効性を検証するためにいくつかのデータセットの実験を行い,再帰的機構の導入後の変化について検討する。
複数のデータセットに対するこれらの実験により,提案した新モデルの性能は,従来の最先端モデルと比較してある程度改善されていることが示された。
関連論文リスト
- Differential Evolution Algorithm based Hyper-Parameters Selection of
Transformer Neural Network Model for Load Forecasting [0.0]
トランスフォーマーモデルは、そのアテンションメカニズムから派生した長距離依存を学習できるため、ロード予測を改善する可能性がある。
我々の研究は,平均二乗誤差 (MSE) や平均絶対パーセンテージ誤差 (MAPE) といった数値に基づく負荷予測において,異なるメタヒューリスティックアルゴリズムと統合されたトランスフォーマーベースニューラルネットワークモデルを比較した。
論文 参考訳（メタデータ） (2023-07-28T04:29:53Z) - Consensus-Adaptive RANSAC [104.87576373187426]
本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。
注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
論文 参考訳（メタデータ） (2023-07-26T08:25:46Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-05-26T00:43:02Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳（メタデータ） (2023-02-27T18:18:13Z) - Temporal Attention Augmented Transformer Hawkes Process [4.624987488467739]
新しいタイプのトランスフォーマーベースホークスプロセスモデル、テンポラルアテンション強化トランスフォーマーホークスプロセス(TAA-THP)を考案した。
従来の点積アテンション構造を修正し、テンポラルエンコーディングをアテンション構造に導入する。
提案したTAA-THPモデルの性能を評価するために, 広範囲の合成および実生活データセットについて多数の実験を行った。
論文 参考訳（メタデータ） (2021-12-29T09:45:23Z) - Transformers predicting the future. Applying attention in next-frame and
time series forecasting [0.0]
繰り返しニューラルネットワークは、最近まで、シーケンス内のタイムリーな依存関係をキャプチャする最良の方法の1つでした。
トランスフォーマーの導入により、RNNのない注意機構しか持たないアーキテクチャが、様々なシーケンス処理タスクの結果を改善することが証明された。
論文 参考訳（メタデータ） (2021-08-18T16:17:29Z) - STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。
実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
論文 参考訳（メタデータ） (2021-07-15T02:53:11Z) - Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。
同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文 参考訳（メタデータ） (2021-04-26T13:13:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。