Fugu-MT 論文翻訳(概要): SwinLSTM:Improving Spatiotemporal Prediction Accuracy using Swin Transformer and LSTM

論文の概要: SwinLSTM:Improving Spatiotemporal Prediction Accuracy using Swin Transformer and LSTM

arxiv url: http://arxiv.org/abs/2308.09891v2
Date: Sat, 23 Dec 2023 03:40:47 GMT
ステータス: 処理完了
システム内更新日: 2023-12-27 22:07:59.505640
Title: SwinLSTM:Improving Spatiotemporal Prediction Accuracy using Swin Transformer and LSTM
Title（参考訳）: SwinLSTM:Swin TransformerとLSTMを用いた時空間予測精度の向上
Authors: Song Tang, Chuang Li, Pu Zhang, RongNian Tang
Abstract要約: 本研究では,SwinブロックとLSTMを統合した新たなリカレントセルConvwinLSTMを提案する。我々の競争実験の結果は、Swinwinの依存関係を捕捉するモデルにおいて、グローバルな空間依存の学習がより有利であることを示している。
参考スコア（独自算出の注目度）: 10.104358712577215
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Integrating CNNs and RNNs to capture spatiotemporal dependencies is a prevalent strategy for spatiotemporal prediction tasks. However, the property of CNNs to learn local spatial information decreases their efficiency in capturing spatiotemporal dependencies, thereby limiting their prediction accuracy. In this paper, we propose a new recurrent cell, SwinLSTM, which integrates Swin Transformer blocks and the simplified LSTM, an extension that replaces the convolutional structure in ConvLSTM with the self-attention mechanism. Furthermore, we construct a network with SwinLSTM cell as the core for spatiotemporal prediction. Without using unique tricks, SwinLSTM outperforms state-of-the-art methods on Moving MNIST, Human3.6m, TaxiBJ, and KTH datasets. In particular, it exhibits a significant improvement in prediction accuracy compared to ConvLSTM. Our competitive experimental results demonstrate that learning global spatial dependencies is more advantageous for models to capture spatiotemporal dependencies. We hope that SwinLSTM can serve as a solid baseline to promote the advancement of spatiotemporal prediction accuracy. The codes are publicly available at https://github.com/SongTang-x/SwinLSTM.
Abstract（参考訳）: 時空間依存を捉えるためにCNNとRNNを統合することは時空間予測タスクの一般的な戦略である。しかし、局所的な空間情報を学ぶcnnの特性は、時空間依存を捉える際の効率を低下させ、予測精度を低下させる。本稿では,swainトランスフォーマーブロックと簡易lstmを統合した新しいリカレントセルであるswainlstmと,convlstmの畳み込み構造を自己着脱機構に置き換える拡張型lstmを提案する。さらに,時空間予測のコアとしてSwinLSTMセルを用いたネットワークを構築する。 SwinLSTMは独自のトリックを使わずに、MNIST、Human3.6m、TaxiBJ、KTHデータセットの最先端の手法より優れている。特に、ConvLSTMに比べて予測精度が大幅に向上している。比較実験の結果,世界空間依存の学習は,時空間依存を捉えるモデルにとってより有利であることが示された。 swinlstmが時空間予測精度の向上を促進するための確固たるベースラインとなることを願っている。コードはhttps://github.com/SongTang-x/SwinLSTMで公開されている。

関連論文リスト

Beam Prediction based on Large Language Models [51.45077318268427]
ミリ波(mmWave)通信は次世代無線ネットワークに期待できるが、パス損失は大きい。長短期記憶(LSTM)のような従来のディープラーニングモデルでは、ビーム追跡精度が向上するが、ロバスト性や一般化が不足している。本稿では,大規模言語モデル(LLM)を用いて,ビーム予測の堅牢性を向上させる。
論文参考訳（メタデータ） (2024-08-16T12:40:01Z)
Kernel Corrector LSTM [1.034961673489652]
我々は、cLSTMのメタラーナーをより単純な方法で置き換える新しいRW-MLアルゴリズムであるKernel Corrector LSTM(KcLSTM)を提案する。我々は,新しいアルゴリズムの予測精度とトレーニング時間を実験的に評価し,cLSTMとLSTMと比較した。
論文参考訳（メタデータ） (2024-04-28T18:44:10Z)
Extreme-Long-short Term Memory for Time-series Prediction [0.0]
Long Short-Term Memory (LSTM)は、新しいタイプのリカレントニューラルネットワーク(RNN)である本稿では,高度なLSTMアルゴリズムであるExtreme Long Short-Term Memory (E-LSTM)を提案する。新しいE-LSTMは、7番目のエポックなLSTMの結果を得るためには2エポックしか必要としない。
論文参考訳（メタデータ） (2022-10-15T09:45:48Z)
Image Classification using Sequence of Pixels [3.04585143845864]
本研究では,繰り返しニューラルネットワークを用いた逐次画像分類法の比較を行った。本稿では,Long-Short-Term memory(LSTM)やBidirectional Long-Short-Term memory(BiLSTM)アーキテクチャに基づく手法について述べる。
論文参考訳（メタデータ） (2022-09-23T09:42:44Z)
Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
論文参考訳（メタデータ） (2022-08-28T17:50:19Z)
Process Outcome Prediction: CNN vs. LSTM (with Attention) [0.15229257192293202]
時系列問題に対する畳み込みニューラルネットワーク(CNN)とLong Short-Term Memory(LSTM)の性能について検討する。その結果,これらのニューラルネットワークは高い予測能力に満足できることがわかった。 CNNのスピード、早期予測力、堅牢性は、プロセス結果予測への適用の道を開くべきだと主張しています。
論文参考訳（メタデータ） (2021-04-14T15:38:32Z)
Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文参考訳（メタデータ） (2020-10-01T17:51:49Z)
Automatic Remaining Useful Life Estimation Framework with Embedded Convolutional LSTM as the Backbone [5.927250637620123]
組込み畳み込みLSTM(E NeuralTM)と呼ばれる新しいLSTM変種を提案する。 ETMでは、異なる1次元の畳み込みの群がLSTM構造に埋め込まれている。 RUL推定のために広く用いられているいくつかのベンチマークデータセットに対する最先端のアプローチよりも,提案したEMMアプローチの方が優れていることを示す。
論文参考訳（メタデータ） (2020-08-10T08:34:20Z)
Future Vector Enhanced LSTM Language Model for LVCSR [67.03726018635174]
本稿では,将来ベクトルを用いた拡張長短期メモリ(LSTM)LMを提案する。実験の結果,提案したLSTM LMはBLEUスコアよりも長期のシーケンス予測に有効であることがわかった。新たなLSTM LMと従来のLSTM LMを併用することで,単語誤り率を大幅に向上させることができる。
論文参考訳（メタデータ） (2020-07-31T08:38:56Z)
Object Tracking through Residual and Dense LSTMs [67.98948222599849]
LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。 DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
論文参考訳（メタデータ） (2020-06-22T08:20:17Z)
Depth-Adaptive Graph Recurrent Network for Text Classification [71.20237659479703]
S-LSTM(Sentence-State LSTM)は、高効率なグラフリカレントネットワークである。そこで本研究では,S-LSTMの深度適応機構を提案する。
論文参考訳（メタデータ） (2020-02-29T03:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。