論文の概要: PrACTiS: Perceiver-Attentional Copulas for Time Series
- arxiv url: http://arxiv.org/abs/2310.01720v1
- Date: Tue, 3 Oct 2023 01:13:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 18:06:45.009865
- Title: PrACTiS: Perceiver-Attentional Copulas for Time Series
- Title(参考訳): PrACTiS: 時系列の知覚的意図的コプラ
- Authors: Cat P. Le, Chris Cannella, Ali Hasan, Yuting Ng, Vahid Tarokh
- Abstract要約: 本稿では、時系列予測を強化するために、知覚アーキテクチャとコプラ構造を組み合わせたモデルを提案する。
認識器をエンコーダとして利用することにより、複雑な高次元のマルチモーダルデータをコンパクトな潜在空間に効率よく変換する。
また,コプラに基づくアテンションと出力分散試験機構を配置し,欠落データの連成分布を抽出する。
- 参考スコア(独自算出の注目度): 27.107746150930055
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers incorporating copula structures have demonstrated remarkable
performance in time series prediction. However, their heavy reliance on
self-attention mechanisms demands substantial computational resources, thus
limiting their practical utility across a wide range of tasks. In this work, we
present a model that combines the perceiver architecture with a copula
structure to enhance time-series forecasting. By leveraging the perceiver as
the encoder, we efficiently transform complex, high-dimensional, multimodal
data into a compact latent space, thereby significantly reducing computational
demands. To further reduce complexity, we introduce midpoint inference and
local attention mechanisms, enabling the model to capture dependencies within
imputed samples effectively. Subsequently, we deploy the copula-based attention
and output variance testing mechanism to capture the joint distribution of
missing data, while simultaneously mitigating error propagation during
prediction. Our experimental results on the unimodal and multimodal benchmarks
showcase a consistent 20\% improvement over the state-of-the-art methods, while
utilizing less than half of available memory resources.
- Abstract(参考訳): コプラ構造を組み込んだ変圧器は時系列予測において顕著な性能を示した。
しかし、自己着脱機構への強い依存は、かなりの計算資源を必要とするため、幅広いタスクで実用性が制限される。
本研究では,時系列予測を改善するために,知覚アーキテクチャとコプラ構造を組み合わせたモデルを提案する。
エンコーダとして知覚器を利用することにより、複雑な高次元のマルチモーダルデータをコンパクトな潜在空間に効率よく変換し、計算要求を大幅に低減する。
さらに複雑性を低減すべく,中間点推論と局所的注意機構を導入して,インデュートサンプル内の依存関係を効果的にキャプチャする。
次に,コプラに基づく注意および出力分散テスト機構を展開し,損失データの同時分布を把握し,同時に予測中の誤差伝播を緩和する。
実験結果では, 使用可能なメモリ資源の半数以下を有効利用しながら, 最先端の手法に比べて一貫した20倍の改善が見られた。
関連論文リスト
- Improving Efficiency of Diffusion Models via Multi-Stage Framework and
Tailored Multi-Decoder Architectures [13.4613041236933]
拡散モデルは強力な深層生成ツールとして登場し、様々な応用に優れている。
しかし、その顕著な生成性能は、遅いトレーニングとサンプリングによって妨げられている。
これは、広範囲の前方および逆拡散軌道を追跡する必要があるためである。
本稿では,これらの課題に対処するための経験的知見から着想を得た多段階フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-14T17:48:09Z) - Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation
for Time Series [49.992908221544624]
時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。
従来の深層学習法は時系列計算に有効であることが示されている。
本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
論文 参考訳(メタデータ) (2023-12-03T05:52:30Z) - Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。
特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。
このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
論文 参考訳(メタデータ) (2023-11-20T17:35:44Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - DRAformer: Differentially Reconstructed Attention Transformer for
Time-Series Forecasting [7.805077630467324]
時系列予測は、機器ライフサイクル予測、天気予報、交通フロー予測など、多くの現実シナリオにおいて重要な役割を果たす。
最近の研究から、様々なトランスフォーマーモデルが時系列予測において顕著な結果を示したことが観察できる。
しかし、時系列予測タスクにおけるトランスフォーマーモデルの性能を制限する問題がまだ残っている。
論文 参考訳(メタデータ) (2022-06-11T10:34:29Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-05-16T07:53:42Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳(メタデータ) (2022-02-07T21:37:29Z) - Stacking VAE with Graph Neural Networks for Effective and Interpretable
Time Series Anomaly Detection [5.935707085640394]
本研究では,実効かつ解釈可能な時系列異常検出のための,グラフニューラルネットワークを用いた自動エンコーダ(VAE)モデルを提案する。
我々は,提案モデルが3つの公開データセットの強いベースラインを上回っており,大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2021-05-18T09:50:00Z) - Network Classifiers Based on Social Learning [71.86764107527812]
空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。
提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。
この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
論文 参考訳(メタデータ) (2020-10-23T11:18:20Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳(メタデータ) (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。