論文の概要: Yformer: U-Net Inspired Transformer Architecture for Far Horizon Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2110.08255v1
• Date: Wed, 13 Oct 2021 13:35:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-24 03:42:14.960459
• Title: Yformer: U-Net Inspired Transformer Architecture for Far Horizon Time Series Forecasting
• Title（参考訳）: Yformer:極水平時系列予測のためのU-Netインスパイアされたトランスフォーマーアーキテクチャ
• Authors: Kiran Madhusudhanan (1), Johannes Burchert (1), Nghia Duong-Trung (2), Stefan Born (2), Lars Schmidt-Thieme (1) ((1) University of Hildesheim, (2) Technische Universit\"at Berlin)
• Abstract要約: Y-Netにインスパイアされた新しいY字型エンコーダデコーダアーキテクチャは、ダウンスケールのエンコーダ層から対応するアップサンプリングデコーダ層への直接接続を利用する。 4つのベンチマークデータセットに対する関連するベースラインで実験が行われ、平均的な改善は19.82、18.41、13.62、11.85、MAEである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series data is ubiquitous in research as well as in a wide variety of industrial applications. Effectively analyzing the available historical data and providing insights into the far future allows us to make effective decisions. Recent research has witnessed the superior performance of transformer-based architectures, especially in the regime of far horizon time series forecasting. However, the current state of the art sparse Transformer architectures fail to couple down- and upsampling procedures to produce outputs in a similar resolution as the input. We propose the Yformer model, based on a novel Y-shaped encoder-decoder architecture that (1) uses direct connection from the downscaled encoder layer to the corresponding upsampled decoder layer in a U-Net inspired architecture, (2) Combines the downscaling/upsampling with sparse attention to capture long-range effects, and (3) stabilizes the encoder-decoder stacks with the addition of an auxiliary reconstruction loss. Extensive experiments have been conducted with relevant baselines on four benchmark datasets, demonstrating an average improvement of 19.82, 18.41 percentage MSE and 13.62, 11.85 percentage MAE in comparison to the current state of the art for the univariate and the multivariate settings respectively.
• Abstract（参考訳）: 時系列データは様々な産業用途だけでなく、研究にも広く使われている。 利用可能な履歴データを効果的に分析し、遠い未来への洞察を提供することで、効果的な意思決定が可能になります。 最近の研究は、特に極地平線時系列予測の体制において、トランスフォーマーベースのアーキテクチャの優れた性能を目撃している。 しかし、アートスパーストランスフォーマティブアーキテクチャの現在の状況は、入力と同じような解像度で出力を生成するためにダウンサンプリングとアップサンプリングの手順を組み合わせることに失敗している。 本稿では,(1)ダウンスケールエンコーダ層から対応するアップサンプリングデコーダ層への直接接続をu-netインスパイアされたアーキテクチャで使用する,(2)ダウンスケーリング/アップサンプリングとスパース注意を組み合わせることで長距離効果を捉える,(3)エンコーダデコーダスタックを安定化する,新たなy型エンコーダ-デコーダアーキテクチャに基づくyformerモデルを提案する。 4つのベンチマークデータセットにおける関連するベースラインに関する広範な実験が行われており、平均改善率は19.82、18.41パーセントmse、13.62、11.85パーセントmaeである。

関連論文リスト

• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Transformer-based Video Saliency Prediction with High Temporal Dimension Decoding [12.595019348741042]
  本稿では,高テンポラル次元ネットワークデコーディング(THTDNet)を用いたトランスフォーマに基づくビデオサリエンシ予測手法を提案する。 このアーキテクチャは、DHF1KやUCFスポーツ、ハリウッド-2といった一般的なベンチマークで、マルチブランチや過剰に複雑なモデルに匹敵する性能が得られる。
  論文  参考訳（メタデータ） (2024-01-15T20:09:56Z)
• Take an Irregular Route: Enhance the Decoder of Time-Series Forecasting Transformer [9.281993269355544]
  本稿では,エンコーダとデコーダのボトムアップおよびトップダウンアーキテクチャを利用して,完全かつ合理的な階層を構築するためのFPPformerを提案する。 6つの最先端ベンチマークによる大規模な実験は、FPPformerの有望な性能を検証する。
  論文  参考訳（メタデータ） (2023-12-10T06:50:56Z)
• A Transformer-based Framework For Multi-variate Time Series: A Remaining Useful Life Prediction Use Case [4.0466311968093365]
  本研究は,時系列予測のためのエンコーダ変換アーキテクチャに基づくフレームワークを提案する。 C-MAPPSベンチマークデータセットの4セットすべてに対して,提案手法の有効性を検証した。 機械寿命の初期段階と劣化経路のモデル認識を可能にするため, 新たな拡張窓手法が提案された。
  論文  参考訳（メタデータ） (2023-08-19T02:30:35Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Robust representations of oil wells' intervals via sparse attention mechanism [2.604557228169423]
  正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。 私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。 このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
  論文  参考訳（メタデータ） (2022-12-29T09:56:33Z)
• Real-Time Target Sound Extraction [13.526450617545537]
  実時間およびストリーミングターゲット音抽出を実現するためのニューラルネットワークモデルを提案する。 本稿では,エンコーダとして拡張因果畳み込みレイヤを積み重ねたエンコーダデコーダアーキテクチャであるWaveformerと,デコーダとしてトランスフォーマデコーダレイヤを提案する。
  論文  参考訳（メタデータ） (2022-11-04T03:51:23Z)
• Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with Transformers [115.90778814368703]
  目的は,大規模画像とビデオデータセットの言語検索である。 このタスクでは、独立してテキストとビジョンを共同埋め込み空間 a.k.a にマッピングする。 デュアルエンコーダは 検索スケールとして魅力的です 視覚テキスト変換器をクロスアテンションで使用する別のアプローチは、関節埋め込みよりも精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-03-30T17:57:08Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers [149.78470371525754]
  セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。 具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。 トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。 SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
  論文  参考訳（メタデータ） (2020-12-31T18:55:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。