論文の概要: Perceiver-based CDF Modeling for Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2310.01720v2
- Date: Mon, 24 Jun 2024 18:31:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 21:09:52.006859
- Title: Perceiver-based CDF Modeling for Time Series Forecasting
- Title（参考訳）: 時系列予測のための知覚型CDFモデリング
- Authors: Cat P. Le, Chris Cannella, Ali Hasan, Yuting Ng, Vahid Tarokh,
- Abstract要約: 本稿では,時系列データの累積分布関数(CDF)をモデル化するための新しいアーキテクチャであるPerceiver-CDFを提案する。
提案手法は,マルチモーダル時系列予測に適したコプラに基づくアテンション機構と,知覚アーキテクチャを組み合わせたものである。
単調かつマルチモーダルなベンチマークの実験は、最先端の手法よりも20%改善されていることを一貫して示している。
- 参考スコア（独自算出の注目度）: 25.26713741799865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers have demonstrated remarkable efficacy in forecasting time series data. However, their extensive dependence on self-attention mechanisms demands significant computational resources, thereby limiting their practical applicability across diverse tasks, especially in multimodal problems. In this work, we propose a new architecture, called perceiver-CDF, for modeling cumulative distribution functions (CDF) of time series data. Our approach combines the perceiver architecture with a copula-based attention mechanism tailored for multimodal time series prediction. By leveraging the perceiver, our model efficiently transforms high-dimensional and multimodal data into a compact latent space, thereby significantly reducing computational demands. Subsequently, we implement a copula-based attention mechanism to construct the joint distribution of missing data for prediction. Further, we propose an output variance testing mechanism to effectively mitigate error propagation during prediction. To enhance efficiency and reduce complexity, we introduce midpoint inference for the local attention mechanism. This enables the model to efficiently capture dependencies within nearby imputed samples without considering all previous samples. The experiments on the unimodal and multimodal benchmarks consistently demonstrate a 20% improvement over state-of-the-art methods while utilizing less than half of the computational resources.
- Abstract（参考訳）: 変換器は時系列データの予測に顕著な有効性を示した。
しかし、それらの自己注意機構への広範な依存は、重要な計算資源を必要とするため、特にマルチモーダル問題において、様々なタスクにまたがる実践的適用性が制限される。
本研究では,時系列データの累積分布関数(CDF)をモデル化するための新しいアーキテクチャであるPerceiver-CDFを提案する。
提案手法は,マルチモーダル時系列予測に適したコプラに基づくアテンション機構と,知覚アーキテクチャを組み合わせたものである。
知覚器を活用することで,高次元およびマルチモーダルデータをコンパクトな潜在空間に効率よく変換し,計算要求を大幅に低減する。
その後,コプラに基づくアテンション機構を実装し,欠落したデータの共同分布を構築し,予測を行う。
また,予測時の誤差伝搬を効果的に緩和する出力分散試験機構を提案する。
効率を高め,複雑さを低減するため,局所的な注意機構の中間点推論を導入する。
これにより、モデルは、すべての前のサンプルを考慮せずに、近くの汚染されたサンプル内の依存関係を効率的にキャプチャできる。
単モーダルおよびマルチモーダルベンチマークの実験は、半分未満の計算資源を生かしながら、最先端の手法よりも20%改善されたことを一貫して示している。
関連論文リスト
- Reprogramming Foundational Large Language Models(LLMs) for Enterprise Adoption for Spatio-Temporal Forecasting Applications: Unveiling a New Era in Copilot-Guided Cross-Modal Time Series Representation Learning [0.0]
パティオ時間予測は、輸送システム、物流、サプライチェーン管理など、様々な分野において重要な役割を担っている。
本稿では,オープンソースの大規模・小規模言語モデル(LLM,LM)と従来の予測手法を組み合わせたハイブリッド手法を提案する。
論文 参考訳（メタデータ） (2024-08-26T16:11:53Z) - Advancing Enterprise Spatio-Temporal Forecasting Applications: Data Mining Meets Instruction Tuning of Language Models For Multi-modal Time Series Analysis in Low-Resource Settings [0.0]
パティオ時間予測は輸送、物流、サプライチェーン管理において重要である。
本稿では,従来の予測手法の強みと小言語モデルの命令チューニングを融合した動的マルチモーダル手法を提案する。
我々のフレームワークは、推論速度とデータプライバシ/セキュリティを維持しながら、計算とメモリの要求を低減したオンプレミスのカスタマイズを可能にする。
論文 参考訳（メタデータ） (2024-08-24T16:32:58Z) - MGCP: A Multi-Grained Correlation based Prediction Network for Multivariate Time Series [54.91026286579748]
本稿では,マルチグラインド相関に基づく予測ネットワークを提案する。
予測性能を高めるために3段階の相関を同時に検討する。
注意機構に基づく予測器と条件判別器を用いて、粗い粒度の予測結果を最適化する。
論文 参考訳（メタデータ） (2024-05-30T03:32:44Z) - Improving Efficiency of Diffusion Models via Multi-Stage Framework and Tailored Multi-Decoder Architectures [12.703947839247693]
拡散モデルは強力な深層生成ツールとして登場し、様々な応用に優れている。
しかし、その顕著な生成性能は、遅いトレーニングとサンプリングによって妨げられている。
これは、広範囲の前方および逆拡散軌道を追跡する必要があるためである。
本稿では,これらの課題に対処するための経験的知見から着想を得た多段階フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-14T17:48:09Z) - Generative Time Series Forecasting with Diffusion, Denoise, and
Disentanglement [51.55157852647306]
時系列予測は多くのアプリケーションにおいて非常に重要な課題である。
実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。
本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
論文 参考訳（メタデータ） (2023-01-08T12:20:46Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-05-16T07:53:42Z) - Achieving Efficient Distributed Machine Learning Using a Novel
Non-Linear Class of Aggregation Functions [9.689867512720083]
時間的変化のあるネットワーク上での分散機械学習(DML)は、分散化されたMLアプリケーションを開発する上で有効である。
本稿では,時間変動ネットワーク上で効率的なDMLを実現するために,モデル集約関数の非線形クラスを提案する。
論文 参考訳（メタデータ） (2022-01-29T03:43:26Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Temporal Latent Auto-Encoder: A Method for Probabilistic Multivariate
Time Series Forecasting [4.131842516813833]
時間系列の非線形ファクタリゼーションを可能にする新しい時間的潜時オートエンコーダ法を提案する。
確率的潜時空間モデルにより、入力系列の複雑な分布はデコーダを介してモデル化される。
我々のモデルは、多くの一般的な多変量データセット上で最先端のパフォーマンスを達成し、いくつかの標準メトリクスに対して最大50%のゲインを得られることがある。
論文 参考訳（メタデータ） (2021-01-25T22:29:40Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。