論文の概要: MS-LSTM: Exploring Spatiotemporal Multiscale Representations in Video
Prediction Domain
- arxiv url: http://arxiv.org/abs/2304.07724v3
- Date: Fri, 16 Feb 2024 07:11:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 21:07:21.092501
- Title: MS-LSTM: Exploring Spatiotemporal Multiscale Representations in Video
Prediction Domain
- Title(参考訳): MS-LSTM:ビデオ予測領域における時空間多スケール表現の探索
- Authors: Zhifeng Ma, Hao Zhang, Jie Liu
- Abstract要約: 既存のRNNモデルは、積み重ねレイヤーのみによって、マルチスケールの機能を得ることができる。
本稿では,マルチスケールの観点からMS-LSTMを完全に提案する。
理論的にはMS-LSTMとそのコンポーネントのトレーニングコストと性能を理論的に分析する。
- 参考スコア(独自算出の注目度): 8.216911980865902
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The drastic variation of motion in spatial and temporal dimensions makes the
video prediction task extremely challenging. Existing RNN models obtain higher
performance by deepening or widening the model. They obtain the multi-scale
features of the video only by stacking layers, which is inefficient and brings
unbearable training costs (such as memory, FLOPs, and training time). Different
from them, this paper proposes a spatiotemporal multi-scale model called
MS-LSTM wholly from a multi-scale perspective. On the basis of stacked layers,
MS-LSTM incorporates two additional efficient multi-scale designs to fully
capture spatiotemporal context information. Concretely, we employ LSTMs with
mirrored pyramid structures to construct spatial multi-scale representations
and LSTMs with different convolution kernels to construct temporal multi-scale
representations. We theoretically analyze the training cost and performance of
MS-LSTM and its components. Detailed comparison experiments with twelve
baseline models on four video datasets show that MS-LSTM has better performance
but lower training costs.
- Abstract(参考訳): 空間的および時間的次元における動きの劇的な変化は、映像予測タスクを極めて困難にする。
既存のRNNモデルは、モデルをより深くまたは拡張することで、より高い性能が得られる。
ビデオのマルチスケール機能は、レイヤを積み重ねることによってのみ得られるが、これは非効率であり、(メモリ、FLOP、トレーニング時間など)耐え難いトレーニングコストをもたらす。
そこで本研究では,MS-LSTMと呼ばれる時空間的マルチスケールモデルを提案する。
積層層に基づくMS-LSTMでは、時空間情報を完全にキャプチャする2つの効率的なマルチスケール設計が組み込まれている。
具体的には、ミラー化されたピラミッド構造を持つLSTMを用いて空間的マルチスケール表現を構築し、異なる畳み込みカーネルを持つLSTMを用いて時間的マルチスケール表現を構築する。
理論的にMS-LSTMとそのコンポーネントのトレーニングコストと性能を解析する。
4つのビデオデータセット上の12のベースラインモデルによる詳細な比較実験により、MS-LSTMの性能は向上するが、トレーニングコストは低下することが示された。
関連論文リスト
- Large AI Model Empowered Multimodal Semantic Communications [51.17527319441436]
本稿では,Large AI Model-based Multimodal SC (LAM-MSC) フレームワークを提案する。
SC-based Multimodal Alignment (MMA)について紹介する。
次に、パーソナライズされたLLMベースの知識ベース(LKB)を提案する。
最後に、CGE(Conditional Generative Adversarial Network-based Channel Estimation)を適用し、CSI(Channel State Information)を得る。
論文 参考訳(メタデータ) (2023-09-03T19:24:34Z) - Disentangling Structured Components: Towards Adaptive, Interpretable and
Scalable Time Series Forecasting [52.47493322446537]
本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。
SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。
SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
論文 参考訳(メタデータ) (2023-05-22T13:39:44Z) - Algorithm and Hardware Co-Design of Energy-Efficient LSTM Networks for
Video Recognition with Hierarchical Tucker Tensor Decomposition [22.502146009817416]
長期記憶(Long Short-term memory、LSTM)は、シーケンス解析やモデリングアプリケーションで広く使われている強力なディープニューラルネットワークである。
本稿では,高性能エネルギー効率LSTMネットワークに向けたアルゴリズムとハードウェアの共同設計を提案する。
論文 参考訳(メタデータ) (2022-12-05T05:51:56Z) - TMS: A Temporal Multi-scale Backbone Design for Speaker Embedding [60.292702363839716]
話者埋め込みのための現在のSOTAバックボーンネットワークは、話者表現のためのマルチブランチネットワークアーキテクチャを用いた発話からマルチスケール特徴を集約するように設計されている。
本稿では, 話者埋め込みネットワークにおいて, 計算コストの増大を伴わずに, マルチスケール分岐を効率的に設計できる効果的な時間的マルチスケール(TMS)モデルを提案する。
論文 参考訳(メタデータ) (2022-03-17T05:49:35Z) - Multi-Perspective LSTM for Joint Visual Representation Learning [81.21490913108835]
複数の視点から捉えた視覚的シーケンスで利用可能な内的および対外的関係を学習できる新しいLSTM細胞アーキテクチャを提案する。
私たちのアーキテクチャは、細胞レベルで追加のゲートと記憶を使用する新しい繰り返し共同学習戦略を採用しています。
提案するセルを用いてネットワークを構築することにより、より効果的でリッチな視覚的表現が認識タスクで学習されることを示す。
論文 参考訳(メタデータ) (2021-05-06T16:44:40Z) - A journey in ESN and LSTM visualisations on a language task [77.34726150561087]
我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。
その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
論文 参考訳(メタデータ) (2020-12-03T08:32:01Z) - Deep Learning modeling of Limit Order Book: a comparative perspective [0.0]
本研究は、高周波取引のためのディープラーニング分野における理論的および実践的な問題に対処する。
ランダムモデル、ロジスティック回帰、LSTM、アテンションマスクを備えたLSTM、CNN-LSTM、アテンションなどの最先端モデルについてレビューし、同じタスクで比較する。
モデリング手法の根底にある次元は、リミット・オーダー・ブックの力学に固有のものかどうかを理解するために研究される。
論文 参考訳(メタデータ) (2020-07-12T17:06:30Z) - Multi-view Frequency LSTM: An Efficient Frontend for Automatic Speech
Recognition [4.753402561130792]
複数のFLSTMスタックの出力を異なるビューで組み合わせることで、シンプルで効率的な修正を行う。
本研究では,マルチビューFLSTM音響モデルにより,話者・音響環境の異なるシナリオに対して,単語誤り率(WER)が3~7%向上することを示す。
論文 参考訳(メタデータ) (2020-06-30T22:19:53Z) - Sentiment Analysis Using Simplified Long Short-term Memory Recurrent
Neural Networks [1.5146765382501612]
GOPディベートTwitterデータセット上で感情分析を行う。
学習を高速化し、計算コストと時間を短縮するために、LSTMモデルのスリムバージョンを6つの異なるパラメータで削減する手法を提案する。
論文 参考訳(メタデータ) (2020-05-08T12:50:10Z) - Long short-term memory networks and laglasso for bond yield forecasting:
Peeping inside the black box [10.412912723760172]
長期記憶(LSTM)ネットワークを用いた結合収率予測の最初の研究を行った。
我々は,シーケンス・ツー・シーケンス・アーキテクチャを用いて,メモリセル内の選択された位置におけるLSTM信号の時間的計算を行う。
論文 参考訳(メタデータ) (2020-05-05T14:23:00Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。