論文の概要: PrACTiS: Perceiver-Attentional Copulas for Time Series

• arxiv url: http://arxiv.org/abs/2310.01720v1
• Date: Tue, 3 Oct 2023 01:13:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 18:06:45.009865
• Title: PrACTiS: Perceiver-Attentional Copulas for Time Series
• Title（参考訳）: PrACTiS: 時系列の知覚的意図的コプラ
• Authors: Cat P. Le, Chris Cannella, Ali Hasan, Yuting Ng, Vahid Tarokh
• Abstract要約: 本稿では、時系列予測を強化するために、知覚アーキテクチャとコプラ構造を組み合わせたモデルを提案する。 認識器をエンコーダとして利用することにより、複雑な高次元のマルチモーダルデータをコンパクトな潜在空間に効率よく変換する。 また,コプラに基づくアテンションと出力分散試験機構を配置し,欠落データの連成分布を抽出する。
• 参考スコア（独自算出の注目度）: 27.107746150930055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers incorporating copula structures have demonstrated remarkable performance in time series prediction. However, their heavy reliance on self-attention mechanisms demands substantial computational resources, thus limiting their practical utility across a wide range of tasks. In this work, we present a model that combines the perceiver architecture with a copula structure to enhance time-series forecasting. By leveraging the perceiver as the encoder, we efficiently transform complex, high-dimensional, multimodal data into a compact latent space, thereby significantly reducing computational demands. To further reduce complexity, we introduce midpoint inference and local attention mechanisms, enabling the model to capture dependencies within imputed samples effectively. Subsequently, we deploy the copula-based attention and output variance testing mechanism to capture the joint distribution of missing data, while simultaneously mitigating error propagation during prediction. Our experimental results on the unimodal and multimodal benchmarks showcase a consistent 20\% improvement over the state-of-the-art methods, while utilizing less than half of available memory resources.
• Abstract（参考訳）: コプラ構造を組み込んだ変圧器は時系列予測において顕著な性能を示した。 しかし、自己着脱機構への強い依存は、かなりの計算資源を必要とするため、幅広いタスクで実用性が制限される。 本研究では,時系列予測を改善するために,知覚アーキテクチャとコプラ構造を組み合わせたモデルを提案する。 エンコーダとして知覚器を利用することにより、複雑な高次元のマルチモーダルデータをコンパクトな潜在空間に効率よく変換し、計算要求を大幅に低減する。 さらに複雑性を低減すべく,中間点推論と局所的注意機構を導入して,インデュートサンプル内の依存関係を効果的にキャプチャする。 次に,コプラに基づく注意および出力分散テスト機構を展開し,損失データの同時分布を把握し,同時に予測中の誤差伝播を緩和する。 実験結果では, 使用可能なメモリ資源の半数以下を有効利用しながら, 最先端の手法に比べて一貫した20倍の改善が見られた。

関連論文リスト

• Reprogramming Foundational Large Language Models(LLMs) for Enterprise Adoption for Spatio-Temporal Forecasting Applications: Unveiling a New Era in Copilot-Guided Cross-Modal Time Series Representation Learning [0.0]
  パティオ時間予測は、輸送システム、物流、サプライチェーン管理など、様々な分野において重要な役割を担っている。 本稿では,オープンソースの大規模・小規模言語モデル(LLM,LM)と従来の予測手法を組み合わせたハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2024-08-26T16:11:53Z)
• Advancing Enterprise Spatio-Temporal Forecasting Applications: Data Mining Meets Instruction Tuning of Language Models For Multi-modal Time Series Analysis in Low-Resource Settings [0.0]
  パティオ時間予測は輸送、物流、サプライチェーン管理において重要である。 本稿では,従来の予測手法の強みと小言語モデルの命令チューニングを融合した動的マルチモーダル手法を提案する。 我々のフレームワークは、推論速度とデータプライバシ/セキュリティを維持しながら、計算とメモリの要求を低減したオンプレミスのカスタマイズを可能にする。
  論文  参考訳（メタデータ） (2024-08-24T16:32:58Z)
• MGCP: A Multi-Grained Correlation based Prediction Network for Multivariate Time Series [54.91026286579748]
  本稿では,マルチグラインド相関に基づく予測ネットワークを提案する。 予測性能を高めるために3段階の相関を同時に検討する。 注意機構に基づく予測器と条件判別器を用いて、粗い粒度の予測結果を最適化する。
  論文  参考訳（メタデータ） (2024-05-30T03:32:44Z)
• Improving Efficiency of Diffusion Models via Multi-Stage Framework and Tailored Multi-Decoder Architectures [12.703947839247693]
  拡散モデルは強力な深層生成ツールとして登場し、様々な応用に優れている。 しかし、その顕著な生成性能は、遅いトレーニングとサンプリングによって妨げられている。 これは、広範囲の前方および逆拡散軌道を追跡する必要があるためである。 本稿では,これらの課題に対処するための経験的知見から着想を得た多段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T17:48:09Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Achieving Efficient Distributed Machine Learning Using a Novel Non-Linear Class of Aggregation Functions [9.689867512720083]
  時間的変化のあるネットワーク上での分散機械学習(DML)は、分散化されたMLアプリケーションを開発する上で有効である。 本稿では,時間変動ネットワーク上で効率的なDMLを実現するために,モデル集約関数の非線形クラスを提案する。
  論文  参考訳（メタデータ） (2022-01-29T03:43:26Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Temporal Latent Auto-Encoder: A Method for Probabilistic Multivariate Time Series Forecasting [4.131842516813833]
  時間系列の非線形ファクタリゼーションを可能にする新しい時間的潜時オートエンコーダ法を提案する。 確率的潜時空間モデルにより、入力系列の複雑な分布はデコーダを介してモデル化される。 我々のモデルは、多くの一般的な多変量データセット上で最先端のパフォーマンスを達成し、いくつかの標準メトリクスに対して最大50%のゲインを得られることがある。
  論文  参考訳（メタデータ） (2021-01-25T22:29:40Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。