論文の概要: Fourier-Mixed Window Attention: Accelerating Informer for Long Sequence Time-Series Forecasting

• arxiv url: http://arxiv.org/abs/2307.00493v2
• Date: Thu, 15 Feb 2024 01:29:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 21:14:06.926449
• Title: Fourier-Mixed Window Attention: Accelerating Informer for Long Sequence Time-Series Forecasting
• Title（参考訳）: Fourier-Mixed Window Attention: 時系列時系列予測のためのインバータ高速化
• Authors: Nhat Thanh Tran, Jack Xin
• Abstract要約: 提案手法は,クエリの空間性仮説と,InformerのProbSparseの注意を基礎とした経験的近似に依存しない。 FWin変換器はインフォーマーの予測精度を向上し,推論速度を40%から50%向上することを示した。
• 参考スコア（独自算出の注目度）: 1.90365714903665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study a fast local-global window-based attention method to accelerate Informer for long sequence time-series forecasting. While window attention is local and a considerable computational saving, it lacks the ability to capture global token information which is compensated by a subsequent Fourier transform block. Our method, named FWin, does not rely on query sparsity hypothesis and an empirical approximation underlying the ProbSparse attention of Informer. Through experiments on univariate and multivariate datasets, we show that FWin transformers improve the overall prediction accuracies of Informer while accelerating its inference speeds by 40 to 50 %. We also show in a nonlinear regression model that a learned FWin type attention approaches or even outperforms softmax full attention based on key vectors extracted from an Informer model's full attention layer acting on time series data.
• Abstract（参考訳）: Informerを高速化するための高速なローカル・グローバルウィンドウベースアテンション手法について検討した。 ウィンドウの注意は局所的であり、計算量を大幅に節約する一方で、その後のフーリエ変換ブロックによって補償されるグローバルトークン情報をキャプチャする能力が欠如している。 提案手法は,クエリの空間性仮説と,Informer の ProbSparse 対応に基づく経験的近似に依存しない。 単変量および多変量データセットの実験により、FWinトランスフォーマーはインフォーマーの全体的な予測精度を改善しつつ、推論速度を40%から50%加速することを示した。 また,非線形回帰モデルでは,時系列データに作用するインフォメータモデルのフルアテンション層から抽出したキーベクトルに基づいて,学習したフウィン型アテンションアプローチやソフトマックスフルアテンションよりも優れることを示した。

関連論文リスト

• Deep Frequency Derivative Learning for Non-stationary Time Series Forecasting [12.989064148254936]
  非定常時系列予測のためのディープ周波数微分学習フレームワークDERITSを提案する。 具体的には、DERITSは、新しい可逆変換、すなわち周波数微分変換(FDT)に基づいて構築される。
  論文  参考訳（メタデータ） (2024-06-29T17:56:59Z)
• Adapting to Length Shift: FlexiLength Network for Trajectory Prediction [53.637837706712794]
  軌道予測は、自律運転、ロボット工学、シーン理解など、様々な応用において重要な役割を果たしている。 既存のアプローチは主に、一般に標準入力時間を用いて、公開データセットの予測精度を高めるために、コンパクトなニューラルネットワークの開発に重点を置いている。 本稿では,様々な観測期間に対する既存の軌道予測の堅牢性を高めるための,汎用的で効果的なフレームワークFlexiLength Network(FLN)を紹介する。
  論文  参考訳（メタデータ） (2024-03-31T17:18:57Z)
• TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables [75.83318701911274]
  TimeXerは外部情報を取り込み、内因性変数の予測を強化する。 TimeXerは、12の現実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-29T11:54:35Z)
• SMURF-THP: Score Matching-based UnceRtainty quantiFication for Transformer Hawkes Process [76.98721879039559]
  SMURF-THPは,変圧器ホークス過程を学習し,予測の不確かさを定量化するスコアベース手法である。 具体的には、SMURF-THPは、スコアマッチング目標に基づいて、イベントの到着時刻のスコア関数を学習する。 我々は,イベントタイプ予測と到着時刻の不確実性定量化の両方において,広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-25T03:33:45Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• Time Series Forecasting via Semi-Asymmetric Convolutional Architecture with Global Atrous Sliding Window [0.0]
  本稿では,時系列予測の問題に対処するために提案手法を提案する。 現代のモデルのほとんどは、短い範囲の情報のみに焦点を当てており、時系列予測のような問題で致命的なものである。 パフォーマンス上のアドバンテージがあることを実験的に検証した3つの主要なコントリビューションを行います。
  論文  参考訳（メタデータ） (2023-01-31T15:07:31Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)
• Robust Projection based Anomaly Extraction (RPE) in Univariate Time-Series [8.121462458089141]
  提案手法は RPE と呼ばれ,ウィンドウベースの手法である。 RPEはウィンドウ内の異常の存在に対して堅牢であり、タイムスタンプレベルの異常を区別することができる。 広範な数値実験により、RPEは既存のアプローチよりも顕著なマージンで優れていることが示されている。
  論文  参考訳（メタデータ） (2022-05-31T05:41:58Z)
• BolT: Fused Window Transformers for fMRI Time Series Analysis [0.0]
  血液酸素レベル依存型トランスフォーマであるBolTをfMRI時系列解析のために提案する。 ウィンドウをまたいだ情報を統合するために、隣接する時間ウィンドウのベーストークンとフランジトークンの間で、クロスウィンドウアテンションが計算される。 公開fMRIデータセットの実験は、最先端の手法に対するBolTの優れた性能を明らかに示している。
  論文  参考訳（メタデータ） (2022-05-23T19:17:06Z)
• A visual introduction to Gaussian Belief Propagation [22.02770204949673]
  本稿では、任意に構造化された因子グラフのノード間でメッセージを渡すことによって、近似確率推論アルゴリズムの視覚的導入を提案する。 ループ的信念伝播の特別な場合として、GBP更新はローカル情報のみに依存し、メッセージスケジュールとは独立して収束する。 我々の重要な論点は、最近のコンピューティングハードウェアのトレンドを考えると、GBPは将来の機械学習システムのためのスケーラブルな分散確率的推論フレームワークとして機能する適切な計算特性を持っているということです。
  論文  参考訳（メタデータ） (2021-07-05T22:43:27Z)
• Focus of Attention Improves Information Transfer in Visual Features [80.22965663534556]
  本稿では,真のオンライン環境下での視覚情報伝達のための教師なし学習に焦点を当てた。 エントロピー項の計算は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。 入力確率分布をよりよく構成するために,人間のような注目モデルを用いる。
  論文  参考訳（メタデータ） (2020-06-16T15:07:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。