論文の概要: A Comparative Study of Pruning Methods in Transformer-based Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2412.12883v1
• Date: Tue, 17 Dec 2024 13:07:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:00:56.999423
• Title: A Comparative Study of Pruning Methods in Transformer-based Time Series Forecasting
• Title（参考訳）: 変圧器を用いた時系列予測におけるプルーニング法の比較検討
• Authors: Nicholas Kiefer, Arvid Weyrauch, Muhammed Öz, Achim Streit, Markus Götz, Charlotte Debus,
• Abstract要約: プルーニングは、ニューラルネットワークのパラメータ数を削減し、計算を保存するための確立されたアプローチである。 本研究では,これらのプルーニング戦略がモデルサイズ,演算,推論時間などの予測性能および計算面に与える影響について検討する。 ハードウェアとソフトウェアが対応する場合でも、構造化プルーニングは大幅な時間節約を達成できないことを実証する。
• 参考スコア（独自算出の注目度）: 0.07916635054977067
• License:
• Abstract: The current landscape in time-series forecasting is dominated by Transformer-based models. Their high parameter count and corresponding demand in computational resources pose a challenge to real-world deployment, especially for commercial and scientific applications with low-power embedded devices. Pruning is an established approach to reduce neural network parameter count and save compute. However, the implications and benefits of pruning Transformer-based models for time series forecasting are largely unknown. To close this gap, we provide a comparative benchmark study by evaluating unstructured and structured pruning on various state-of-the-art multivariate time series models. We study the effects of these pruning strategies on model predictive performance and computational aspects like model size, operations, and inference time. Our results show that certain models can be pruned even up to high sparsity levels, outperforming their dense counterpart. However, fine-tuning pruned models is necessary. Furthermore, we demonstrate that even with corresponding hardware and software support, structured pruning is unable to provide significant time savings.
• Abstract（参考訳）: 時系列予測の現在の状況は、Transformerベースのモデルによって支配されている。 それらの高いパラメータ数とそれに対応する計算資源の需要は、特に低消費電力組み込みデバイスによる商業的および科学的な応用において、現実世界の展開に挑戦する。 プルーニングは、ニューラルネットワークのパラメータ数を削減し、計算を保存するための確立されたアプローチである。 しかし、時系列予測のためのトランスフォーマーベースのモデルを刈り取ることの意味と利点はほとんど分かっていない。 このギャップを埋めるために、様々な最先端多変量時系列モデル上で非構造化および構造化プルーニングを評価することで比較ベンチマーク研究を行う。 本研究では,これらのプルーニング戦略がモデルサイズ,演算,推論時間などの予測性能および計算面に与える影響について検討する。 以上の結果から,特定のモデルを高い空間レベルまで刈り取ることができ,より密度の高いモデルよりも優れていたことが示唆された。 しかし、微調整プルーニングモデルが必要である。 さらに,ハードウェアとソフトウェアのサポートが相まっても,構造化プルーニングは大幅な時間節約を達成できないことを示す。

関連論文リスト

• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• Ister: Inverted Seasonal-Trend Decomposition Transformer for Explainable Multivariate Time Series Forecasting [10.32586981170693]
  Inverted Seasonal-Trend Decomposition Transformer (Ister) 本稿では,解釈可能性,計算効率,予測精度を向上させる新しいDotアテンション機構を提案する。 Isterはコンポーネントのコントリビューションを直感的に視覚化し、モデルの意思決定プロセスに光を流し、予測結果の透明性を高める。
  論文  参考訳（メタデータ） (2024-12-25T06:37:19Z)
• A Cost-Aware Approach to Adversarial Robustness in Neural Networks [1.622320874892682]
  本稿では,ハードウェア選択,バッチサイズ,エポック数,テストセット精度の影響を測定するために,高速化された故障時間モデルを提案する。 我々は、複数のGPUタイプを評価し、モデルの堅牢性を最大化し、モデル実行時間を同時に最小化するためにTree Parzen Estimatorを使用します。
  論文  参考訳（メタデータ） (2024-09-11T20:43:59Z)
• Are Self-Attentions Effective for Time Series Forecasting? [4.990206466948269]
  時系列予測は、複数のドメインやさまざまなシナリオにわたるアプリケーションにとって不可欠である。 近年の研究では、より単純な線形モデルは、複雑なトランスフォーマーベースのアプローチよりも優れていることが示されている。 我々は、新しいアーキテクチャ、クロスアテンションのみの時系列変換器(CATS)を導入する。 提案モデルでは,平均二乗誤差が最小であり,既存のモデルに比べてパラメータが少ないため,性能が向上する。
  論文  参考訳（メタデータ） (2024-05-27T06:49:39Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• MPR-Net:Multi-Scale Pattern Reproduction Guided Universality Time Series Interpretable Forecasting [13.790498420659636]
  時系列予測は、その広範な応用が本質的に困難なため、既存の研究から幅広い関心を集めている。 本稿では,まず,畳み込み操作を用いてマルチスケールの時系列パターンを適応的に分解し,パターン再現の既知に基づいてパターン拡張予測手法を構築し,最終的に畳み込み操作を用いて将来的なパターンを再構築する。 時系列に存在する時間的依存関係を活用することで、MPR-Netは線形時間複雑性を達成するだけでなく、予測プロセスも解釈できる。
  論文  参考訳（メタデータ） (2023-07-13T13:16:01Z)
• Two Steps Forward and One Behind: Rethinking Time Series Forecasting with Deep Learning [7.967995669387532]
  Transformerは、人工知能ニューラルネットワークの世界に革命をもたらした、非常に成功したディープラーニングモデルである。 時系列予測領域に適用したトランスフォーマーモデルの有効性について検討する。 性能が良く、より複雑でない代替モデル一式を提案する。
  論文  参考訳（メタデータ） (2023-04-10T12:47:42Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。