論文の概要: Grouped self-attention mechanism for a memory-efficient Transformer
- arxiv url: http://arxiv.org/abs/2210.00440v1
- Date: Sun, 2 Oct 2022 06:58:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 13:37:36.191248
- Title: Grouped self-attention mechanism for a memory-efficient Transformer
- Title(参考訳): メモリ効率変換器の群自己保持機構
- Authors: Bumjun Jung, Yusuke Mukuta, Tatsuya Harada
- Abstract要約: 天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。
時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。
我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。
提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
- 参考スコア(独自算出の注目度): 64.0125322353281
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Time-series data analysis is important because numerous real-world tasks such
as forecasting weather, electricity consumption, and stock market involve
predicting data that vary over time. Time-series data are generally recorded
over a long period of observation with long sequences owing to their periodic
characteristics and long-range dependencies over time. Thus, capturing
long-range dependency is an important factor in time-series data forecasting.
To solve these problems, we proposed two novel modules, Grouped Self-Attention
(GSA) and Compressed Cross-Attention (CCA). With both modules, we achieved a
computational space and time complexity of order $O(l)$ with a sequence length
$l$ under small hyperparameter limitations, and can capture locality while
considering global information. The results of experiments conducted on
time-series datasets show that our proposed model efficiently exhibited reduced
computational complexity and performance comparable to or better than existing
methods.
- Abstract(参考訳): 時系列データ分析は、天気予報、電力消費、株式市場といった現実世界の多くのタスクが、時間とともに変化するデータの予測に関わるため重要である。
時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。
したがって、時系列データ予測において、長距離依存性を捉えることが重要な要素である。
これらの問題を解決するために,GSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)という2つの新しいモジュールを提案した。
どちらのモジュールも計算空間と時間複雑性を達成し、小さなハイパーパラメータの制限下でのシーケンス長$l$ のオーダー $o(l)$ を達成し、グローバル情報を考慮しながら局所性をキャプチャできる。
時系列データセットを用いた実験の結果,提案モデルでは,既存の手法に匹敵する計算複雑性と性能の低減が効果的に示された。
関連論文リスト
- Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - MPR-Net:Multi-Scale Pattern Reproduction Guided Universality Time Series
Interpretable Forecasting [13.790498420659636]
時系列予測は、その広範な応用が本質的に困難なため、既存の研究から幅広い関心を集めている。
本稿では,まず,畳み込み操作を用いてマルチスケールの時系列パターンを適応的に分解し,パターン再現の既知に基づいてパターン拡張予測手法を構築し,最終的に畳み込み操作を用いて将来的なパターンを再構築する。
時系列に存在する時間的依存関係を活用することで、MPR-Netは線形時間複雑性を達成するだけでなく、予測プロセスも解釈できる。
論文 参考訳(メタデータ) (2023-07-13T13:16:01Z) - Robust Detection of Lead-Lag Relationships in Lagged Multi-Factor Models [61.10851158749843]
データ固有のリード-ラグ関係を発見することで、重要な洞察を得ることができる。
階層化多要素モデルにおけるリードラグ関係のロバスト検出のためのクラスタリング駆動手法を開発した。
論文 参考訳(メタデータ) (2023-05-11T10:30:35Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳(メタデータ) (2022-02-07T21:37:29Z) - Optimal Latent Space Forecasting for Large Collections of Short Time
Series Using Temporal Matrix Factorization [0.0]
複数の手法を評価し、それらの方法の1つを選択することや、最良の予測を生成するためのアンサンブルを選択するのが一般的である。
本稿では,低ランク時間行列係数化と潜在時系列上での最適モデル選択を組み合わせることで,短時間の高次元時系列データを予測するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2021-12-15T11:39:21Z) - PIETS: Parallelised Irregularity Encoders for Forecasting with
Heterogeneous Time-Series [5.911865723926626]
マルチソースデータセットの不均一性と不規則性は時系列解析において重要な課題となる。
本研究では、異種時系列をモデル化するための新しいアーキテクチャ、PIETSを設計する。
PIETSは異種時間データを効果的にモデル化し、予測タスクにおける他の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-09-30T20:01:19Z) - Multivariate Time-series Anomaly Detection via Graph Attention Network [27.12694738711663]
多変量時系列の異常検出は、データマイニング研究と産業応用の両方において非常に重要である。
1つの大きな制限は、異なる時系列間の関係を明示的に捉えないことである。
この問題に対処するために,多変量時系列異常検出のための新しい自己教師型フレームワークを提案する。
論文 参考訳(メタデータ) (2020-09-04T07:46:19Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳(メタデータ) (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。