論文の概要: MS-RNN: A Flexible Multi-Scale Framework for Spatiotemporal Predictive Learning

• arxiv url: http://arxiv.org/abs/2206.03010v7
• Date: Thu, 29 Feb 2024 13:21:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 19:19:31.307822
• Title: MS-RNN: A Flexible Multi-Scale Framework for Spatiotemporal Predictive Learning
• Title（参考訳）: MS-RNN:時空間予測学習のための柔軟なマルチスケールフレームワーク
• Authors: Zhifeng Ma, Hao Zhang, and Jie Liu
• Abstract要約: 予測学習のための最近のRNNモデルを強化するために,Multi-Scale RNN (MS-RNN) という汎用フレームワークを提案する。 我々はMS-RNNフレームワークを理論解析と徹底的な実験により検証する。 その結果、我々のフレームワークを組み込んだRNNモデルは、メモリコストが大幅に削減されるが、以前よりも性能が向上していることがわかった。
• 参考スコア（独自算出の注目度）: 7.311071760653835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatiotemporal predictive learning, which predicts future frames through historical prior knowledge with the aid of deep learning, is widely used in many fields. Previous work essentially improves the model performance by widening or deepening the network, but it also brings surging memory overhead, which seriously hinders the development and application of this technology. In order to improve the performance without increasing memory consumption, we focus on scale, which is another dimension to improve model performance but with low memory requirement. The effectiveness has been widely demonstrated in many CNN-based tasks such as image classification and semantic segmentation, but it has not been fully explored in recent RNN models. In this paper, learning from the benefit of multi-scale, we propose a general framework named Multi-Scale RNN (MS-RNN) to boost recent RNN models for spatiotemporal predictive learning. We verify the MS-RNN framework by thorough theoretical analyses and exhaustive experiments, where the theory focuses on memory reduction and performance improvement while the experiments employ eight RNN models (ConvLSTM, TrajGRU, PredRNN, PredRNN++, MIM, MotionRNN, PredRNN-V2, and PrecipLSTM) and four datasets (Moving MNIST, TaxiBJ, KTH, and Germany). The results show the efficiency that RNN models incorporating our framework have much lower memory cost but better performance than before. Our code is released at \url{https://github.com/mazhf/MS-RNN}.
• Abstract（参考訳）: 深層学習の助けを借りて、過去の知識を通じて将来のフレームを予測する時空間予測学習は、多くの分野で広く使われている。 これまでの作業では,ネットワークの拡大あるいは深化によるモデルパフォーマンスの向上が基本的に行われていたが,メモリオーバーヘッドの増加によって,このテクノロジの開発や適用が著しく妨げられている。 メモリ消費を増大させることなく性能を向上させるため,我々はモデル性能を改善するための別の次元であるスケールに注力する。 この効果は画像分類やセマンティックセグメンテーションといった多くのCNNベースのタスクで広く実証されてきたが、近年のRNNモデルでは十分に研究されていない。 本稿では,マルチスケールの利点から学習し,時空間予測学習のための最近のrnnモデルを強化するために,マルチスケールrnn(ms-rnn)という汎用フレームワークを提案する。 実験には8つのRNNモデル(ConvLSTM、TrajGRU、PredRNN、PredRNN++、MIM、MotionRNN、PredRNN-V2、PrecipLSTM)と4つのデータセット(MNIST、TaxiBJ、KTH、ドイツ)が使用されている。 結果は、我々のフレームワークを組み込んだrnnモデルが、メモリコストがずっと低く、以前よりもパフォーマンスが良い効率を示す。 私たちのコードは \url{https://github.com/mazhf/ms-rnn} でリリースされる。

関連論文リスト

• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• LM-HT SNN: Enhancing the Performance of SNN to ANN Counterpart through Learnable Multi-hierarchical Threshold Model [42.13762207316681]
  スパイキングニューラルネットワーク(SNN)は、よりエネルギー効率の良い方法で情報を伝達する本質的な能力に対して、広く学術的な関心を集めている。 SNNの学習アルゴリズムを様々な方法で最適化する以前の取り組みにもかかわらず、SNNはパフォーマンス面でもANNに遅れを取っている。 本稿では,グローバル入力電流と膜電位リークを動的に制御できる等価多閾値モデルであるLM-HTモデルを提案する。
  論文  参考訳（メタデータ） (2024-02-01T08:10:39Z)
• Resource Constrained Model Compression via Minimax Optimization for Spiking Neural Networks [11.19282454437627]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動型および高エネルギー効率ネットワークの特徴を持つ。 これらのネットワークをリソース制限されたエッジデバイスに直接展開することは困難である。 本稿では,このスパース学習問題に対するエンドツーエンドの Minimax 最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-08-09T02:50:15Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Comparison Analysis of Traditional Machine Learning and Deep Learning Techniques for Data and Image Classification [62.997667081978825]
  本研究の目的は、コンピュータビジョン2次元オブジェクト分類タスクに使用される最も一般的な機械学習およびディープラーニング技術を分析し比較することである。 まず、視覚語モデルと深部畳み込みニューラルネットワーク(DCNN)の理論的背景を示す。 次に、Bag of Visual Wordsモデル、VGG16 CNN Architectureを実装します。
  論文  参考訳（メタデータ） (2022-04-11T11:34:43Z)
• Weightless Neural Networks for Efficient Edge Inference [1.7882696915798877]
  ウェイトレスニューラルネットワーク(WNN)は、テーブルルックアップを使用して推論を行う機械学習モデルのクラスである。 本稿では,WNN アーキテクチャ BTHOWeN を提案する。 BTHOWeNは、より優れたレイテンシとエネルギー効率を提供することで、大規模で成長するエッジコンピューティングセクターをターゲットにしている。
  論文  参考訳（メタデータ） (2022-03-03T01:46:05Z)
• PFGE: Parsimonious Fast Geometric Ensembling of DNNs [6.973476713852153]
  本稿では,高性能深層ニューラルネットワークの軽量アンサンブルを用いたPFGE( parsimonious FGE)を提案する。 以上の結果から,PFGE 5xのメモリ効率は従来の手法に比べて向上した。
  論文  参考訳（メタデータ） (2022-02-14T12:27:46Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via Calibrated Dirichlet Prior RNN [98.4713940310056]
  現代パーソナルアシスタントにおける音声言語理解(SLU)の主な課題は、発話から意味概念を抽出することである。 最近の研究では、疑問と回答を収集し、未知のデータを学習し、質問すべきである。 疑わしい監督なしにシーケンスの不確かさをモデル化するために、ソフトマックスベースのスロット充填ニューラルネットワークアーキテクチャを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-16T02:12:30Z)
• MomentumRNN: Integrating Momentum into Recurrent Neural Networks [32.40217829362088]
  我々は,MomentumRNNが,RNNのトレーニングにおいて消失する勾配問題を緩和することを示した。 MomentumRNNは、最先端のRNNなど、様々な種類のリカレント細胞に適用できる。 本稿では,Adam や Nesterov などの高度運動量に基づく最適化手法が再起動によって高速化され,MomentumRNN フレームワークに容易に組み込めることを示す。
  論文  参考訳（メタデータ） (2020-06-12T03:02:29Z)
• Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack [73.48927855855219]
  リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。 RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。 これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。 本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
  論文  参考訳（メタデータ） (2020-04-04T14:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。