論文の概要: WAVE: Weighted Autoregressive Varying Gate for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2410.03159v3
• Date: Wed, 12 Feb 2025 03:55:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:47:27.168231
• Title: WAVE: Weighted Autoregressive Varying Gate for Time Series Forecasting
• Title（参考訳）: WAVE:時系列予測のための軽量自動回帰ゲート
• Authors: Jiecheng Lu, Xu Han, Yan Sun, Shihao Yang,
• Abstract要約: 本稿では,AR(Autoregressive Varying GatE attention mechanism)とMA(Moving-average)を併用した重み付き自己回帰Varying GatEアテンション機構を提案する。 様々な注意機構に適応し、時系列データの中で長距離および局所的な時間パターンをキャプチャする能力を強化し、分離することができる。
• 参考スコア（独自算出の注目度）: 9.114664059026767
• License:
• Abstract: We propose a Weighted Autoregressive Varying gatE (WAVE) attention mechanism equipped with both Autoregressive (AR) and Moving-average (MA) components. It can adapt to various attention mechanisms, enhancing and decoupling their ability to capture long-range and local temporal patterns in time series data. In this paper, we first demonstrate that, for the time series forecasting (TSF) task, the previously overlooked decoder-only autoregressive Transformer model can achieve results comparable to the best baselines when appropriate tokenization and training methods are applied. Moreover, inspired by the ARMA model from statistics and recent advances in linear attention, we introduce the full ARMA structure into existing autoregressive attention mechanisms. By using an indirect MA weight generation method, we incorporate the MA term while maintaining the time complexity and parameter size of the underlying efficient attention models. We further explore how indirect parameter generation can produce implicit MA weights that align with the modeling requirements for local temporal impacts. Experimental results show that WAVE attention that incorporates the ARMA structure consistently improves the performance of various AR attentions on TSF tasks, achieving state-of-the-art results.
• Abstract（参考訳）: 本稿では,自己回帰 (AR) と移動平均 (MA) の両方を備えた重み付き自己回帰Varying GatE (WAVE) アテンション機構を提案する。 様々な注意機構に適応し、時系列データの中で長距離および局所的な時間パターンをキャプチャする能力を強化し、分離することができる。 本稿では、時系列予測(TSF)タスクにおいて、予め見落とされたデコーダのみの自己回帰変換モデルを用いて、適切なトークン化とトレーニング手法を適用すると、最適なベースラインに匹敵する結果が得られることを示す。 さらに、統計学と最近の線形注意の進歩からARMAモデルに着想を得て、既存の自己回帰的注意機構に完全なARMA構造を導入する。 間接MA重み生成法を用いて,MA項を基礎となる効率的な注目モデルの時間的複雑さとパラメータサイズを維持しつつ組み込む。 さらに、間接パラメータ生成が局所的時間的影響のモデリング要求に合致する暗黙のMA重みを生成する方法について検討する。 実験結果から,ARMA構造を組み込んだWAVEアテンションは,TSFタスクにおける各種ARアテンションの性能を常に向上し,最先端の結果が得られた。

関連論文リスト

• Linear Transformers as VAR Models: Aligning Autoregressive Attention Mechanisms with Autoregressive Forecasting [0.9361474110798144]
  一つの線形注意層を動的ベクトル自己回帰(VAR)構造と解釈できることを示す。 一般化,注意,入出力の流れを再構成することにより,多層線形注意をVARモデルとして整列させることができる。 多変量TSFのための解釈可能な動的VAR重みを統合する線形変圧器変種であるVARの構造配向混合法を提案する。
  論文  参考訳（メタデータ） (2025-02-11T04:24:43Z)
• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• Enabling Autoregressive Models to Fill In Masked Tokens [50.9948753314669]
  MARIA(Masked and Autoregressive Infilling Architecture)は、最先端のマスキング・インフィル・パフォーマンスを実現する新しいアプローチである。 MARIAは、トレーニング済みとARモデルを組み合わせて、隠れた状態を入力として取り込む線形デコーダをトレーニングする。 以上の結果から,MARIAはマスク入力タスクにおいて既存の手法,すなわち離散拡散モデルよりも有意に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-02-09T20:02:05Z)
• MAUCell: An Adaptive Multi-Attention Framework for Video Frame Prediction [0.0]
  本稿では,GAN(Generative Adrative Networks)とアテンション機構を組み合わせたマルチアテンションユニット(MAUCell)を導入する。 新しい設計システムは、時間的連続性と空間的精度の平衡を維持し、信頼性の高い映像予測を提供する。
  論文  参考訳（メタデータ） (2025-01-28T14:52:10Z)
• Transformer-Based Bearing Fault Detection using Temporal Decomposition Attention Mechanism [0.40964539027092917]
  ベアリング故障検出は予測保守において重要な課題であり、正確かつタイムリーな故障識別はコストダウンや機器の損傷を防ぐことができる。 トランスフォーマーニューラルネットワークの従来の注意機構は、振動データを保持する複雑な時間パターンを捉えるのに苦労することが多く、最適以下の性能をもたらす。 本稿では,時系列データの長期依存性と周期的変動の両方を捉えるために,時間偏差符号化と季節差分解を組み合わせた新しい注意機構である時間分解注意機構(TDA)を提案する。
  論文  参考訳（メタデータ） (2024-12-15T16:51:31Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
  多くの実用化には時系列予測が不可欠である。 トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。 提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
  論文  参考訳（メタデータ） (2024-02-08T03:00:50Z)
• Perceiver-based CDF Modeling for Time Series Forecasting [25.26713741799865]
  本稿では,時系列データの累積分布関数(CDF)をモデル化するための新しいアーキテクチャであるPerceiver-CDFを提案する。 提案手法は,マルチモーダル時系列予測に適したコプラに基づくアテンション機構と,知覚アーキテクチャを組み合わせたものである。 単調かつマルチモーダルなベンチマークの実験は、最先端の手法よりも20%改善されていることを一貫して示している。
  論文  参考訳（メタデータ） (2023-10-03T01:13:17Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。