論文の概要: Sparse-VQ Transformer: An FFN-Free Framework with Vector Quantization
for Enhanced Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2402.05830v1
- Date: Thu, 8 Feb 2024 17:09:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 13:48:58.346019
- Title: Sparse-VQ Transformer: An FFN-Free Framework with Vector Quantization
for Enhanced Time Series Forecasting
- Title（参考訳）: Sparse-VQ Transformer: 拡張時系列予測のためのベクトル量子化付きFFNフリーフレームワーク
- Authors: Yanjun Zhao, Tian Zhou, Chao Chen, Liang Sun, Yi Qian, Rong Jin
- Abstract要約: スパースベクトル量子化FFN自由変換器(スパースVQ)について紹介する。
提案手法は,RevIN(Reverse Instance Normalization)と組み合わせた疎ベクトル量子化手法を用いてノイズの影響を低減する。
我々のFFNフリーアプローチは、パラメータカウントをトリムし、計算効率を向上し、オーバーフィッティングを減らす。
- 参考スコア（独自算出の注目度）: 28.646457377816795
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Time series analysis is vital for numerous applications, and transformers
have become increasingly prominent in this domain. Leading methods customize
the transformer architecture from NLP and CV, utilizing a patching technique to
convert continuous signals into segments. Yet, time series data are uniquely
challenging due to significant distribution shifts and intrinsic noise levels.
To address these two challenges,we introduce the Sparse Vector Quantized
FFN-Free Transformer (Sparse-VQ). Our methodology capitalizes on a sparse
vector quantization technique coupled with Reverse Instance Normalization
(RevIN) to reduce noise impact and capture sufficient statistics for
forecasting, serving as an alternative to the Feed-Forward layer (FFN) in the
transformer architecture. Our FFN-free approach trims the parameter count,
enhancing computational efficiency and reducing overfitting. Through
evaluations across ten benchmark datasets, including the newly introduced CAISO
dataset, Sparse-VQ surpasses leading models with a 7.84% and 4.17% decrease in
MAE for univariate and multivariate time series forecasting, respectively.
Moreover, it can be seamlessly integrated with existing transformer-based
models to elevate their performance.
- Abstract（参考訳）: 時系列解析は多くのアプリケーションで不可欠であり、トランスフォーマーはこの領域でますます顕著になっている。
リード方式は、連続的な信号をセグメントに変換するパッチ技術を利用して、NLPとCVからトランスフォーマーアーキテクチャをカスタマイズする。
しかし、時系列データは、大きな分布シフトと内在的なノイズレベルのため、一意に困難である。
これら2つの課題に対処するため,Sparse Vector Quantized FFN-Free Transformer (Sparse-VQ)を提案する。
提案手法は,逆インスタンス正規化(RevIN)と組み合わせたスパースベクトル量子化手法を用いて,ノイズの影響を低減し,予測のための十分な統計情報を収集し,トランスフォーマーアーキテクチャにおけるフィードフォワード層(FFN)の代替として機能する。
ffnフリーアプローチはパラメータ数をトリミングし、計算効率を高め、過剰フィッティングを減らす。
新たに導入されたCAISOデータセットを含む10のベンチマークデータセットの評価を通じて、Sparse-VQは、それぞれ、単変量および多変量時系列予測のMAEが7.84%と4.17%減少する主要なモデルを上回っている。
さらに、既存のトランスフォーマーベースのモデルとシームレスに統合してパフォーマンスを高めることもできる。
関連論文リスト
- VST++: Efficient and Stronger Visual Saliency Transformer [74.26078624363274]
我々は,グローバルな長距離依存関係を探索する,効率的で強力なVST++モデルを開発した。
我々は、RGB、RGB-D、RGB-T SODベンチマークデータセット上で、トランスフォーマーベースのバックボーンにまたがってモデルを評価した。
論文 参考訳（メタデータ） (2023-10-18T05:44:49Z) - iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。
iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
論文 参考訳（メタデータ） (2023-10-10T13:44:09Z) - U-shaped Transformer: Retain High Frequency Context in Time Series
Analysis [0.5710971447109949]
本稿では,変圧器の低域特性を考察し,その利点を取り入れようと試みる。
パッチマージと分割操作を導入し、異なるスケールの機能を抽出し、より大きなデータセットを使用してトランスフォーマーバックボーンを完全に活用する。
実験により、比較的低コストで複数のデータセットをまたいだ高度なレベルでモデルが動作できることが実証された。
論文 参考訳（メタデータ） (2023-07-18T07:15:26Z) - CARD: Channel Aligned Robust Blend Transformer for Time Series
Forecasting [50.23240107430597]
本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。
まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。
第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。
第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
論文 参考訳（メタデータ） (2023-05-20T05:16:31Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - W-Transformers : A Wavelet-based Transformer Framework for Univariate
Time Series Forecasting [7.075125892721573]
我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。
各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2022-09-08T17:39:38Z) - CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based
Long-Term Time Series Forecasting System [46.39662315849883]
時系列予測(LTSF)は,様々な応用において重要な役割を担っている。
既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。
本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
論文 参考訳（メタデータ） (2022-07-16T04:05:15Z) - FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。
3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
論文 参考訳（メタデータ） (2022-03-24T07:26:29Z) - FEDformer: Frequency Enhanced Decomposed Transformer for Long-term
Series Forecasting [23.199388386249215]
本稿では,Transformerと季節差分解法を組み合わせることで,時系列のグローバルなプロファイルを解析する手法を提案する。
我々は、ほとんどの時系列がフーリエ変換のようなよく知られた基底でスパース表現を持つ傾向があるという事実を利用する。
周波数拡張分解変換器 (bf FEDformer) は, より効率的であるとともに, 周波数拡張分解変換器 (ff FEDformer) とよばれる手法が標準変換器よりも効率的である。
論文 参考訳（メタデータ） (2022-01-30T06:24:25Z) - TCCT: Tightly-Coupled Convolutional Transformer on Time Series
Forecasting [6.393659160890665]
本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。
実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
論文 参考訳（メタデータ） (2021-08-29T08:49:31Z) - Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。
十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-05-20T17:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。