論文の概要: A Unified Hyperparameter Optimization Pipeline for Transformer-Based Time Series Forecasting Models

• arxiv url: http://arxiv.org/abs/2501.01394v1
• Date: Thu, 02 Jan 2025 18:12:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:06.466529
• Title: A Unified Hyperparameter Optimization Pipeline for Transformer-Based Time Series Forecasting Models
• Title（参考訳）: 変圧器を用いた時系列予測モデルのための統一ハイパーパラメータ最適化パイプライン
• Authors: Jingjing Xu, Caesar Wu, Yuan-Fang Li, Grégoire Danoy, Pascal Bouvry,
• Abstract要約: 時系列予測(TSF)のためのトランスフォーマーベースのモデルは、その有効性と汎用性から近年大きな注目を集めている。 このようなパイプラインを1つ提示し、いくつかの最先端変換器(SOTA)モデルに対する広範な実験を行う。 私たちのパイプラインはトランスフォーマーベースのアーキテクチャを超えて一般化可能であり、MambaやTimeMixerといった他のSOTAモデルにも適用可能です。
• 参考スコア（独自算出の注目度）: 36.31269406067809
• License:
• Abstract: Transformer-based models for time series forecasting (TSF) have attracted significant attention in recent years due to their effectiveness and versatility. However, these models often require extensive hyperparameter optimization (HPO) to achieve the best possible performance, and a unified pipeline for HPO in transformer-based TSF remains lacking. In this paper, we present one such pipeline and conduct extensive experiments on several state-of-the-art (SOTA) transformer-based TSF models. These experiments are conducted on standard benchmark datasets to evaluate and compare the performance of different models, generating practical insights and examples. Our pipeline is generalizable beyond transformer-based architectures and can be applied to other SOTA models, such as Mamba and TimeMixer, as demonstrated in our experiments. The goal of this work is to provide valuable guidance to both industry practitioners and academic researchers in efficiently identifying optimal hyperparameters suited to their specific domain applications. The code and complete experimental results are available on GitHub.
• Abstract（参考訳）: 時系列予測(TSF)のためのトランスフォーマーベースのモデルは、その有効性と汎用性から近年大きな注目を集めている。 しかし、これらのモデルでは最高の性能を達成するために大規模なハイパーパラメータ最適化(HPO)を必要とすることが多く、トランスフォーマーベースのTSFではHPOの統一パイプラインが欠如している。 本稿では、そのようなパイプラインを1つ提示し、いくつかの最先端変換器(SOTA)モデルに対する広範な実験を行う。 これらの実験は、標準ベンチマークデータセットを用いて、異なるモデルの性能を評価し、比較し、実用的な洞察と例を生成する。 私たちのパイプラインはトランスフォーマーベースのアーキテクチャを超えて一般化可能であり、実験で示されたように、MambaやTimeMixerといった他のSOTAモデルにも適用可能です。 この研究の目的は、特定のドメインアプリケーションに適した最適なハイパーパラメータを効率的に特定するために、業界専門家と学術研究者の両方に貴重なガイダンスを提供することである。 コードと完全な実験結果はGitHubで公開されている。

関連論文リスト

• Visual Fourier Prompt Tuning [63.66866445034855]
  本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。 提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。 提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-02T18:18:35Z)
• A Systematic Review for Transformer-based Long-term Series Forecasting [7.414422194379818]
  トランスフォーマーアーキテクチャは、意味的相関を抽出する最も成功したソリューションであることが証明されている。 様々なバリエーションにより、トランスフォーマーアーキテクチャは長期的な時系列予測タスクを処理できるようになった。
  論文  参考訳（メタデータ） (2023-10-31T06:37:51Z)
• A Transformer-based Framework For Multi-variate Time Series: A Remaining Useful Life Prediction Use Case [4.0466311968093365]
  本研究は,時系列予測のためのエンコーダ変換アーキテクチャに基づくフレームワークを提案する。 C-MAPPSベンチマークデータセットの4セットすべてに対して,提案手法の有効性を検証した。 機械寿命の初期段階と劣化経路のモデル認識を可能にするため, 新たな拡張窓手法が提案された。
  論文  参考訳（メタデータ） (2023-08-19T02:30:35Z)
• PETformer: Long-term Time Series Forecasting via Placeholder-enhanced Transformer [5.095882718779794]
  本研究では,Transformerを長期連続予測タスクに適用する場合の問題点について検討する。 本研究では,Placeholder-enhanced Technique (PET)を導入し,LTSFタスクにおけるTransformerの計算効率と予測精度を向上させる。 PETformerはLTSFのために一般的に使用される8つのパブリックデータセットで最先端のパフォーマンスを達成し、既存のモデルをすべて上回っている。
  論文  参考訳（メタデータ） (2023-08-09T08:30:22Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System [46.39662315849883]
  時系列予測(LTSF)は,様々な応用において重要な役割を担っている。 既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。 本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-07-16T04:05:15Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Development of Deep Transformer-Based Models for Long-Term Prediction of Transient Production of Oil Wells [9.832272256738452]
  本稿では,油井の過渡生産に関するデータ駆動型モデリング手法を提案する。 油井の様々なパラメータからなる多変量時系列に基づいて訓練された変圧器ベースニューラルネットワークを適用した。 複素過渡的な油田レベルのパターンをシミュレートするために,複数井戸に対するトランスフォーマーアーキテクチャに基づく単一井戸モデルを一般化する。
  論文  参考訳（メタデータ） (2021-10-12T15:00:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。