論文の概要: EVOTS: Evolutionary Transformer Search for Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2607.00154v1
- Date: Tue, 30 Jun 2026 20:29:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.624334
- Title: EVOTS: Evolutionary Transformer Search for Time Series Forecasting
- Title(参考訳): EVOTS: 時系列予測のための進化的トランスフォーマー検索
- Authors: AbdElRahman ElSaid, Damir Pulatov,
- Abstract要約: 本稿では、時系列予測(EVOTS)のためのタスク適応型トランスフォーマー様モデルを見つけるための進化的ニューラルネットワーク探索フレームワークを提案する。
アーキテクチャはモジュール型のゲノム表現を用いて符号化され、注意、フィードフォワード、投射部品の柔軟な構成を可能にする。
提案手法は,ETTファミリーの4つのベンチマークデータセットを用いて評価する。
- 参考スコア(独自算出の注目度): 0.3867363075280543
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Evolutionary neural architecture design for multivariate time-series forecasting remains underexplored, with most approaches relying on fixed Transformer architectures despite substantial variation across tasks and forecasting settings. This paper introduces an evolutionary neural architecture search framework for discovering task-adaptive Transformer-like models for time-series forecasting (EVOTS). Architectures are encoded using a modular genome representation that enables flexible composition of attention, feed-forward, and projection components, while a repair mechanism enforces structural validity throughout the evolutionary process. This formulation allows effective exploration of a diverse architecture space without relying on hand-crafted design rules. The proposed approach is evaluated on four benchmark datasets from the ETT family (ETTh1, ETTh2, ETTm1, and ETTm2) under multiple forecasting settings, including univariate-to-univariate, multivariate-to-univariate, and multivariate-to-multivariate prediction, with horizons of 96, 192, 336, and 720. In the multivariate-to-multivariate setting, the evolved architectures achieve competitive and, in several cases, improved mean squared error relative to a strong Transformer-based baseline. Additional analyses examine performance differences across forecasting settings and report wall-clock training time to provide a coarse indication of computational cost. Overall, the results demonstrate that evolutionary search can effectively discover flexible and high-performing Transformer-like architectures for multivariate time-series forecasting within practical runtime constraints.
- Abstract(参考訳): 多変量時系列予測のための進化的ニューラルネットワーク設計は、タスクや予測設定にかなりの違いがあるにもかかわらず、ほとんどのアプローチは、固定されたトランスフォーマーアーキテクチャに依存している。
本稿では、時系列予測(EVOTS)のためのタスク適応型トランスフォーマーのようなモデルを見つけるための進化的ニューラルネットワーク探索フレームワークを提案する。
アーキテクチャはモジュール型のゲノム表現を用いてコード化され、注意、フィードフォワード、投射部品の柔軟な構成を可能にし、修復機構は進化過程全体を通して構造的妥当性を強制する。
この定式化により、手作りの設計規則に頼ることなく、多様なアーキテクチャ空間を効果的に探索することができる。
提案手法は,多変量体,多変量体,多変量体,多変量体,多変量体,多変量体,多変量体,多変量体といった複数の予測条件下で,96,192,336,720の地平線を持つETTファミリー(ETTh1,ETTh2,ETTm1,ETTm2)の4つのベンチマークデータセットを用いて評価した。
多変量から多変量への設定では、進化したアーキテクチャは競争力を発揮し、いくつかのケースでは、強力なTransformerベースのベースラインと比較して平均2乗誤差を改善した。
計算コストの粗い指標を提供するため,予測設定と壁面時間トレーニング時間間の性能差について検討した。
その結果,実行時制約下での多変量時系列予測において,フレキシブルかつ高性能なTransformerライクなアーキテクチャを効果的に探索できることが示唆された。
関連論文リスト
- DiTS: Multimodal Diffusion Transformers Are Time Series Forecasters [50.43534351968113]
既存の生成時系列モデルは、時系列データの多次元特性にうまく対応していない。
動画生成にテキストガイダンスを組み込んだマルチモーダル拡散変換器に着想を得て,Diffusion Transformer for Time Series (DiTS)を提案する。
論文 参考訳(メタデータ) (2026-02-06T10:48:13Z) - Multivariate Long-term Time Series Forecasting with Fourier Neural Filter [42.60778405812048]
我々はFNFをバックボーンとして、DBDをアーキテクチャとして導入し、空間時間モデルのための優れた学習能力と最適な学習経路を提供する。
FNFは、局所時間領域とグローバル周波数領域の情報処理を単一のバックボーン内で統合し、空間的モデリングに自然に拡張することを示す。
論文 参考訳(メタデータ) (2025-06-10T18:40:20Z) - Ister: Inverted Seasonal-Trend Decomposition Transformer for Explainable Multivariate Time Series Forecasting [10.32586981170693]
Inverted Seasonal-Trend Decomposition Transformer (Ister)
本稿では,解釈可能性,計算効率,予測精度を向上させる新しいDotアテンション機構を提案する。
Isterはコンポーネントのコントリビューションを直感的に視覚化し、モデルの意思決定プロセスに光を流し、予測結果の透明性を高める。
論文 参考訳(メタデータ) (2024-12-25T06:37:19Z) - EDformer: Embedded Decomposition Transformer for Interpretable Multivariate Time Series Predictions [4.075971633195745]
本稿では,時系列予測タスクのための組込みトランス「EDformer」を提案する。
基本要素を変更することなく、Transformerアーキテクチャを再利用し、その構成部品の有能な機能について検討する。
このモデルは、複雑な実世界の時系列データセットの精度と効率の観点から、最先端の予測結果を得る。
論文 参考訳(メタデータ) (2024-12-16T11:13:57Z) - Knowledge-enhanced Transformer for Multivariate Long Sequence Time-series Forecasting [4.645182684813973]
本研究では,変数間の概念的関係をよく定義された知識グラフ内にカプセル化する新しい手法を提案する。
PatchTST, Autoformer, Informer, Vanilla Transformer などのセマンティックアーキテクチャへの統合の影響について検討する。
この拡張により、変数間の固有の構造的関係に対処するトランスフォーマーベースのアーキテクチャが強化される。
論文 参考訳(メタデータ) (2024-11-17T11:53:54Z) - TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。
結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文 参考訳(メタデータ) (2023-10-02T16:45:19Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳(メタデータ) (2023-02-27T18:18:13Z) - BayesFormer: Transformer with Uncertainty Estimation [31.206243748162553]
ベイズ理論によって設計されたドロップアウトを持つトランスフォーマーモデルBayesFormerを紹介する。
我々は,言語モデリングと分類,長文理解,機械翻訳,能動的学習のための獲得機能など,ボード全体の改良点を示す。
論文 参考訳(メタデータ) (2022-06-02T01:54:58Z) - Multi-Exit Vision Transformer for Dynamic Inference [88.17413955380262]
視覚変換器のバックボーンの動的推論に使用できる早期出口分岐のための7つの異なるアーキテクチャを提案する。
提案したアーキテクチャのそれぞれが,精度と速度のトレードオフにおいて有用であることを示す。
論文 参考訳(メタデータ) (2021-06-29T09:01:13Z) - Temporal Tensor Transformation Network for Multivariate Time Series
Prediction [1.2354076490479515]
本稿では,時間変換ネットワーク(Temporal Transformation Network)と呼ばれる新しいディープラーニングアーキテクチャを提案する。
これにより、元の多変量時系列の新しい表現が得られ、畳み込みカーネルは、比較的大きな時間領域からの可変相互作用信号だけでなく、複雑で非線形な特徴を抽出することができる。
実験結果から、時間変換ネットワークは、様々なタスクにわたるウィンドウベースの予測において、最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-01-04T07:28:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。