論文の概要: Rough Transformers: Lightweight Continuous-Time Sequence Modelling with Path Signatures

• arxiv url: http://arxiv.org/abs/2405.20799v2
• Date: Mon, 28 Oct 2024 16:22:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 02:59:46.104474
• Title: Rough Transformers: Lightweight Continuous-Time Sequence Modelling with Path Signatures
• Title（参考訳）: 粗変換器:経路シグナチャを用いた軽量連続時間系列モデリング
• Authors: Fernando Moreno-Pino, Álvaro Arroyo, Harrison Waldon, Xiaowen Dong, Álvaro Cartea,
• Abstract要約: 本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。 様々な時系列関連タスクにおいて、Rough Transformersはベニラアテンションよりも常に優れています。
• 参考スコア（独自算出の注目度）: 46.58170057001437
• License:
• Abstract: Time-series data in real-world settings typically exhibit long-range dependencies and are observed at non-uniform intervals. In these settings, traditional sequence-based recurrent models struggle. To overcome this, researchers often replace recurrent architectures with Neural ODE-based models to account for irregularly sampled data and use Transformer-based architectures to account for long-range dependencies. Despite the success of these two approaches, both incur very high computational costs for input sequences of even moderate length. To address this challenge, we introduce the Rough Transformer, a variation of the Transformer model that operates on continuous-time representations of input sequences and incurs significantly lower computational costs. In particular, we propose multi-view signature attention, which uses path signatures to augment vanilla attention and to capture both local and global (multi-scale) dependencies in the input data, while remaining robust to changes in the sequence length and sampling frequency and yielding improved spatial processing. We find that, on a variety of time-series-related tasks, Rough Transformers consistently outperform their vanilla attention counterparts while obtaining the representational benefits of Neural ODE-based models, all at a fraction of the computational time and memory resources.
• Abstract（参考訳）: 実世界の時系列データは通常、長距離依存を示し、一様でない間隔で観測される。 これらの設定では、伝統的なシーケンスベースのリカレントモデルが苦労する。 これを解決するために、研究者はしばしばリカレントアーキテクチャをNeural ODEベースのモデルに置き換え、不規則にサンプリングされたデータを考慮し、Transformerベースのアーキテクチャを使用して長距離依存関係を考慮します。 これら2つのアプローチの成功にもかかわらず、どちらも中程度の長さの入力シーケンスに対して非常に高い計算コストを発生させる。 この課題に対処するために、入力シーケンスの連続時間表現を演算し、計算コストを大幅に削減する変換器モデルのバリエーションであるRough Transformerを導入する。 特に,経路シグネチャを用いてバニラアテンションを増大させ,入力データ中の局所的およびグローバル的(マルチスケール)依存を捕捉し,シーケンス長やサンプリング周波数の変化に頑健であり,空間処理の改善をもたらす多視点シグネチャアテンションアテンションを提案する。 様々な時系列関連タスクにおいて、Rough Transformerは、計算時間とメモリリソースのごく一部で、Neural ODEベースのモデルの表現上の利点を享受しながら、バニラの注意点を一貫して上回ります。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• TSLANet: Rethinking Transformers for Time Series Representation Learning [19.795353886621715]
  時系列データは、その固有の長短の依存関係によって特徴づけられる。 本稿では,時系列タスクの普遍的畳み込みモデルとして,新しい時系列軽量ネットワーク(TSLANet)を導入する。 我々の実験では、TSLANetは分類、予測、異常検出にまたがる様々なタスクにおいて最先端のモデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-04-12T13:41:29Z)
• Rough Transformers for Continuous and Efficient Time-Series Modelling [46.58170057001437]
  実世界の医療環境における時系列データは、典型的には長距離依存を示し、一様でない間隔で観察される。 本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。 Rough Transformersは、Neural ODEベースのモデルの利点を得ながら、バニラアテンションを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-03-15T13:29:45Z)
• EdgeConvFormer: Dynamic Graph CNN and Transformer based Anomaly Detection in Multivariate Time Series [7.514010315664322]
  本研究では,階層化されたTime2vec埋め込み,動的グラフCNN,Transformerを統合し,グローバルかつ局所的な空間時間情報を抽出する新たな異常検出手法EdgeConvFormerを提案する。 実験により、EdgeConvFormerは、多変量時系列データから時空間モデリングを学習し、異なるスケールの多くの実世界のデータセットに対する最先端のアプローチよりも優れた異常検出性能を得ることができることが示された。
  論文  参考訳（メタデータ） (2023-12-04T08:38:54Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Robust representations of oil wells' intervals via sparse attention mechanism [2.604557228169423]
  正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。 私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。 このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
  論文  参考訳（メタデータ） (2022-12-29T09:56:33Z)
• ChunkFormer: Learning Long Time Series with Multi-stage Chunked Transformer [0.0]
  オリジナルトランスフォーマーベースのモデルは、シーケンスに沿ったグローバル情報を検出するためのアテンションメカニズムを採用している。 ChunkFormerは、長いシーケンスを注意計算のために小さなシーケンスチャンクに分割する。 このようにして、提案モデルは、入力シーケンスの総長を変更することなく、局所情報と大域情報の両方を徐々に学習する。
  論文  参考訳（メタデータ） (2021-12-30T15:06:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。