論文の概要: Towards Lightweight Time Series Forecasting: a Patch-wise Transformer with Weak Data Enriching

• arxiv url: http://arxiv.org/abs/2501.10448v1
• Date: Tue, 14 Jan 2025 13:35:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-26 02:12:16.061738
• Title: Towards Lightweight Time Series Forecasting: a Patch-wise Transformer with Weak Data Enriching
• Title（参考訳）: 軽量時系列予測に向けて:弱データ強化によるパッチワイド変圧器
• Authors: Meng Wang, Jintao Yang, Bin Yang, Hui Li, Tongxin Gong, Bo Yang, Jiangtao Cui,
• Abstract要約: LiPFormerは、弱いデータを豊かにする軽量なパッチワイドトランスである。 パラメータスケール、トレーニング時間、GPUメモリ使用量を大幅に削減しつつ、最先端の手法よりも精度が高い。 エッジデバイスへのデプロイにより、LiPFormerは従来のTransformerに比べて1/3の推論時間しかかからないことが明らかになった。
• 参考スコア（独自算出の注目度）: 17.48605847953516
• License:
• Abstract: Patch-wise Transformer based time series forecasting achieves superior accuracy. However, this superiority relies heavily on intricate model design with massive parameters, rendering both training and inference expensive, thus preventing their deployments on edge devices with limited resources and low latency requirements. In addition, existing methods often work in an autoregressive manner, which take into account only historical values, but ignore valuable, easy-to-obtain context information, such as weather forecasts, date and time of day. To contend with the two limitations, we propose LiPFormer, a novel Lightweight Patch-wise Transformer with weak data enriching. First, to simplify the Transformer backbone, LiPFormer employs a novel lightweight cross-patch attention and a linear transformation-based attention to eliminate Layer Normalization and Feed Forward Network, two heavy components in existing Transformers. Second, we propose a lightweight, weak data enriching module to provide additional, valuable weak supervision to the training. It enhances forecasting accuracy without significantly increasing model complexity as it does not involve expensive, human-labeling but using easily accessible context information. This facilitates the weak data enriching to plug-and-play on existing models. Extensive experiments on nine benchmark time series datasets demonstrate that LiPFormer outperforms state-of-the-art methods in accuracy, while significantly reducing parameter scale, training duration, and GPU memory usage. Deployment on an edge device reveals that LiPFormer takes only 1/3 inference time compared to classic Transformers. In addition, we demonstrate that the weak data enriching can integrate seamlessly into various Transformer based models to enhance their accuracy, suggesting its generality.
• Abstract（参考訳）: パッチワイドトランスフォーマーに基づく時系列予測は精度が高い。 しかし、この優位性は大量のパラメータを持つ複雑なモデル設計に大きく依存しており、トレーニングと推論の両方にコストがかかるため、リソースの制限とレイテンシの低いエッジデバイスへのデプロイメントを妨げている。 さらに、既存の手法は、歴史的価値のみを考慮して自己回帰的に機能することが多いが、天気予報や日時といった、価値ある、分かりやすい文脈情報を無視する。 この2つの制限に対抗して、弱いデータに富む新しい軽量パッチワイドトランスLiPFormerを提案する。 まず、Transformerのバックボーンを単純化するために、LiPFormerは、新しい軽量なクロスパッチアテンションと線形変換ベースのアテンションを使用して、既存のTransformerの2つの重いコンポーネントであるLayer NormalizationとFeed Forward Networkを排除する。 第2に、トレーニングに付加的な、価値のある弱い監督を提供する軽量で弱いデータ強化モジュールを提案する。 高価で人為的なラベル付けを伴わず、容易にアクセス可能なコンテキスト情報を使用するため、モデルの複雑さを大幅に増大させることなく予測精度を向上させる。 これにより、既存のモデルでプラグイン・アンド・プレイに富む弱いデータが容易になる。 9つのベンチマーク時系列データセットに対する大規模な実験により、LiPFormerは、パラメータスケール、トレーニング時間、GPUメモリ使用量を著しく削減しつつ、最先端のメソッドよりも精度が高いことが示されている。 エッジデバイスへのデプロイにより、LiPFormerは従来のTransformerに比べて1/3の推論時間しかかからないことが明らかになった。 さらに,弱いデータエンリッチ化が様々なTransformerベースモデルにシームレスに統合され,それらの精度が向上し,その一般化が示唆された。

関連論文リスト

• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• sTransformer: A Modular Approach for Extracting Inter-Sequential and Temporal Information for Time-Series Forecasting [6.434378359932152]
  既存のTransformerベースのモデルを,(1)モデル構造の変更,(2)入力データの変更の2つのタイプに分類する。 我々は、シーケンシャル情報と時間情報の両方をフルにキャプチャするSequence and Temporal Convolutional Network(STCN)を導入する$textbfsTransformer$を提案する。 我々は,線形モデルと既存予測モデルとを長期時系列予測で比較し,新たな成果を得た。
  論文  参考訳（メタデータ） (2024-08-19T06:23:41Z)
• Unlocking the Power of Patch: Patch-Based MLP for Long-Term Time Series Forecasting [0.0]
  近年,Transformer アーキテクチャを改良し,長期連続予測タスクの有効性を実証する研究が進められている。 これらのモデルの有効性は, 適用されたパッチ機構に大きく寄与する。 LTSFタスクのための新しいシンプルなパッチベースコンポーネント(PatchMLP)を提案する。
  論文  参考訳（メタデータ） (2024-05-22T12:12:20Z)
• SAMformer: Unlocking the Potential of Transformers in Time Series Forecasting with Sharpness-Aware Minimization and Channel-Wise Attention [14.672072173674039]
  高い表現力にもかかわらず,変換器は真の解に収束することができないことを示す。 シャープネス・アウェア・最適化に最適化された場合, ローカル・ミニマの悪さを回避できる浅層軽量変圧器モデルを提案する。 特にSAMformerは現在の最先端メソッドを超え、最大の基盤モデルであるMOIRAIと同等であり、パラメータは大幅に少ない。
  論文  参考訳（メタデータ） (2024-02-15T18:55:05Z)
• Adaptive Point Transformer [88.28498667506165]
  Adaptive Point Cloud Transformer (AdaPT) は、適応トークン選択機構によって強化された標準PTモデルである。 AdaPTは推論中のトークン数を動的に削減し、大きな点雲の効率的な処理を可能にする。
  論文  参考訳（メタデータ） (2024-01-26T13:24:45Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• A Time Series is Worth 64 Words: Long-term Forecasting with Transformers [4.635547236305835]
  本稿では,時系列予測と自己教師型表現学習のためのトランスフォーマーモデルを提案する。 i) 時系列をサブシリーズレベルのパッチに分割し、Transformerへの入力トークンとして機能させる。 PatchTSTは、SOTA Transformerベースのモデルと比較して、長期予測精度を著しく向上させることができる。
  論文  参考訳（メタデータ） (2022-11-27T05:15:42Z)
• CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System [46.39662315849883]
  時系列予測(LTSF)は,様々な応用において重要な役割を担っている。 既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。 本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-07-16T04:05:15Z)
• Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting [86.33543833145457]
  本稿では,2つの相互依存モジュールを持つ汎用フレームワークとして,非定常変圧器を提案する。 我々のフレームワークは、メインストリームのトランスフォーマーを、大きなマージンで継続的に増加させ、トランスフォーマーで49.43%、インフォーマーで47.34%、改革派で46.89%削減します。
  論文  参考訳（メタデータ） (2022-05-28T12:27:27Z)
• Visformer: The Vision-friendly Transformer [105.52122194322592]
  我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。 同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
  論文  参考訳（メタデータ） (2021-04-26T13:13:03Z)
• Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
  我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。 そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。 提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
  論文  参考訳（メタデータ） (2021-03-30T16:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。