論文の概要: RITA: Group Attention is All You Need for Timeseries Analytics

• arxiv url: http://arxiv.org/abs/2306.01926v1
• Date: Fri, 2 Jun 2023 21:45:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 21:22:45.048238
• Title: RITA: Group Attention is All You Need for Timeseries Analytics
• Title（参考訳）: RITA: 過去の分析に必要なのはグループアテンションだけ
• Authors: Jiaming Liang, Lei Cao, Samuel Madden, Zachary Ives, Guoliang Li
• Abstract要約: 自然言語処理に人気があるトランスフォーマーモデルは、タイムリーから高品質な特徴埋め込みを学習するために利用されてきた。 我々は,このスケーラビリティ問題に対処するために,グループアテンションという新しいアテンション機構を用いた時系列解析ツールRITAを開発した。 さまざまな時系列データセットと分析タスクに関する大規模な実験は、RITAが最先端の精度でパフォーマンスを上回り、最大63倍のスピードアップを実現していることを示している。
• 参考スコア（独自算出の注目度）: 22.036822728197418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Timeseries analytics is of great importance in many real-world applications. Recently, the Transformer model, popular in natural language processing, has been leveraged to learn high quality feature embeddings from timeseries, core to the performance of various timeseries analytics tasks. However, the quadratic time and space complexities limit Transformers' scalability, especially for long timeseries. To address these issues, we develop a timeseries analytics tool, RITA, which uses a novel attention mechanism, named group attention, to address this scalability issue. Group attention dynamically clusters the objects based on their similarity into a small number of groups and approximately computes the attention at the coarse group granularity. It thus significantly reduces the time and space complexity, yet provides a theoretical guarantee on the quality of the computed attention. The dynamic scheduler of RITA continuously adapts the number of groups and the batch size in the training process, ensuring group attention always uses the fewest groups needed to meet the approximation quality requirement. Extensive experiments on various timeseries datasets and analytics tasks demonstrate that RITA outperforms the state-of-the-art in accuracy and is significantly faster -- with speedups of up to 63X.
• Abstract（参考訳）: 時系列分析は多くの現実世界のアプリケーションで非常に重要である。 近年,自然言語処理に人気があるTransformerモデルは,様々な時系列分析タスクのコアとなる,時系列からの高品質な特徴埋め込み学習に活用されている。 しかし、二次時間と空間の複雑さはトランスフォーマーのスケーラビリティ、特に長い時系列を制限している。 これらの課題に対処するために,グループアテンションと呼ばれる新しいアテンション機構を用いた時系列解析ツールRITAを開発し,その拡張性に対処する。 グループアテンションは、その類似性に基づいてオブジェクトを少数のグループに動的にクラスタリングし、粗いグループの粒度で注意をおよそ計算する。 したがって、時間と空間の複雑さを大幅に減らすが、計算された注意の質に関する理論的保証を提供する。 RITAの動的スケジューラは、トレーニングプロセスにおけるグループ数とバッチサイズを継続的に調整し、グループ注意が近似品質要件を満たすのに必要な最小のグループを常に使用することを保証する。 様々な時系列データセットと分析タスクに関する広範囲な実験によって、ritaは最先端の精度を上回っており、最大63倍のスピードアップを実現している。

関連論文リスト

• UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
  時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。 従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。 本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
  論文  参考訳（メタデータ） (2024-05-17T07:47:11Z)
• Concrete Dense Network for Long-Sequence Time Series Clustering [4.307648859471193]
  時系列クラスタリングは、時間的パターンを発見するためのデータ分析において基本である。 深部時間クラスタリング手法は、ニューラルネットワークのエンドツーエンドトレーニングに標準k平均を組み込もうとしている。 LoSTerは、時系列クラスタリング問題に対する新しい密集型オートエンコーダアーキテクチャである。
  論文  参考訳（メタデータ） (2024-05-08T12:31:35Z)
• MSGNet: Learning Multi-Scale Inter-Series Correlations for Multivariate Time Series Forecasting [18.192600104502628]
  時系列データはしばしば、シリーズ内およびシリーズ間相関を示す。 MSGNetの有効性を示すために、複数の実世界のデータセットで大規模な実験が行われた。
  論文  参考訳（メタデータ） (2023-12-31T08:23:24Z)
• TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
  パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。 結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-02T16:45:19Z)
• Time Series Clustering With Random Convolutional Kernels [0.0]
  時系列データ(気候学から金融学、医療まで)は、データマイニングにおいて大きな課題を提示している。 ひとつは時系列クラスタリングで、これはラベルなしの時系列データの大量処理に不可欠である。 R-Clusteringは、ランダムに選択されたパラメータを持つ畳み込みアーキテクチャを利用する新しい手法である。
  論文  参考訳（メタデータ） (2023-05-17T06:25:22Z)
• Robust Detection of Lead-Lag Relationships in Lagged Multi-Factor Models [61.10851158749843]
  データ固有のリード-ラグ関係を発見することで、重要な洞察を得ることができる。 階層化多要素モデルにおけるリードラグ関係のロバスト検出のためのクラスタリング駆動手法を開発した。
  論文  参考訳（メタデータ） (2023-05-11T10:30:35Z)
• Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
  天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。 時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。 我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。 提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
  論文  参考訳（メタデータ） (2022-10-02T06:58:49Z)
• Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
  本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。 当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。 単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-10-26T20:41:19Z)
• Novel Features for Time Series Analysis: A Complex Networks Approach [62.997667081978825]
  時系列データは、気候、経済、医療などいくつかの領域で広く使われている。 最近の概念的アプローチは、複雑なネットワークへの時系列マッピングに依存している。 ネットワーク分析は、異なるタイプの時系列を特徴付けるのに使うことができる。
  論文  参考訳（メタデータ） (2021-10-11T13:46:28Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。