論文の概要: MS-RNN: A Flexible Multi-Scale Framework for Spatiotemporal Predictive Learning

• arxiv url: http://arxiv.org/abs/2206.03010v1
• Date: Tue, 7 Jun 2022 04:57:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 14:59:53.742572
• Title: MS-RNN: A Flexible Multi-Scale Framework for Spatiotemporal Predictive Learning
• Title（参考訳）: MS-RNN:時空間予測学習のための柔軟なマルチスケールフレームワーク
• Authors: Zhifeng Ma, Hao Zhang, and Jie Liu
• Abstract要約: 近年のRNNモデルを強化するために,Multi-Scale RNN (MS-RNN) というフレームワークを提案する。 4つの異なるデータセットに対する徹底的な実験によりMS-RNNフレームワークを検証する。 この結果から,我々のフレームワークを組み込んだRNNモデルは,メモリコストが従来よりもはるかに低いが,性能が向上していることがわかった。
• 参考スコア（独自算出の注目度）: 7.7130719295571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatiotemporal predictive learning is to predict future frames changes through historical prior knowledge. Previous work improves prediction performance by making the network wider and deeper, but this also brings huge memory overhead, which seriously hinders the development and application of the technology. Scale is another dimension to improve model performance in common computer vision task, which can decrease the computing requirements and better sense of context. Such an important improvement point has not been considered and explored by recent RNN models. In this paper, learning from the benefit of multi-scale, we propose a general framework named Multi-Scale RNN (MS-RNN) to boost recent RNN models. We verify the MS-RNN framework by exhaustive experiments on 4 different datasets (Moving MNIST, KTH, TaxiBJ, and HKO-7) and multiple popular RNN models (ConvLSTM, TrajGRU, PredRNN, PredRNN++, MIM, and MotionRNN). The results show the efficiency that the RNN models incorporating our framework have much lower memory cost but better performance than before. Our code is released at \url{https://github.com/mazhf/MS-RNN}.
• Abstract（参考訳）: 時空間予測学習は、歴史的事前知識を通じて将来のフレーム変化を予測することである。 これまでの作業はネットワークを広くより深くすることで予測性能を向上させるが、これはまた大きなメモリオーバーヘッドをもたらし、技術の開発と応用を著しく妨げている。 スケールは、一般的なコンピュータビジョンタスクにおけるモデルパフォーマンスを改善するもう1つの次元であり、コンピューティング要件とコンテキストのセンスを低下させる可能性がある。 このような重要な改善点は、最近のRNNモデルでは検討されていない。 本稿では、マルチスケールの利点から学習し、最近のrnnモデルを強化するために、マルチスケールrnn(ms-rnn)という汎用フレームワークを提案する。 4つのデータセット(MNIST, KTH, TaxiBJ, HKO-7)と複数のRNNモデル(ConvLSTM, TrajGRU, PredRNN, PredRNN++, MIM, MotionRNN)の徹底的な実験によりMS-RNNフレームワークを検証する。 その結果、我々のフレームワークを組み込んだrnnモデルは、メモリコストがずっと低く、性能が以前よりも向上した効率を示しました。 私たちのコードは \url{https://github.com/mazhf/ms-rnn} でリリースされる。

関連論文リスト

• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• LM-HT SNN: Enhancing the Performance of SNN to ANN Counterpart through Learnable Multi-hierarchical Threshold Model [42.13762207316681]
  スパイキングニューラルネットワーク(SNN)は、よりエネルギー効率の良い方法で情報を伝達する本質的な能力に対して、広く学術的な関心を集めている。 SNNの学習アルゴリズムを様々な方法で最適化する以前の取り組みにもかかわらず、SNNはパフォーマンス面でもANNに遅れを取っている。 本稿では,グローバル入力電流と膜電位リークを動的に制御できる等価多閾値モデルであるLM-HTモデルを提案する。
  論文  参考訳（メタデータ） (2024-02-01T08:10:39Z)
• Resource Constrained Model Compression via Minimax Optimization for Spiking Neural Networks [11.19282454437627]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動型および高エネルギー効率ネットワークの特徴を持つ。 これらのネットワークをリソース制限されたエッジデバイスに直接展開することは困難である。 本稿では,このスパース学習問題に対するエンドツーエンドの Minimax 最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-08-09T02:50:15Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Comparison Analysis of Traditional Machine Learning and Deep Learning Techniques for Data and Image Classification [62.997667081978825]
  本研究の目的は、コンピュータビジョン2次元オブジェクト分類タスクに使用される最も一般的な機械学習およびディープラーニング技術を分析し比較することである。 まず、視覚語モデルと深部畳み込みニューラルネットワーク(DCNN)の理論的背景を示す。 次に、Bag of Visual Wordsモデル、VGG16 CNN Architectureを実装します。
  論文  参考訳（メタデータ） (2022-04-11T11:34:43Z)
• Weightless Neural Networks for Efficient Edge Inference [1.7882696915798877]
  ウェイトレスニューラルネットワーク(WNN)は、テーブルルックアップを使用して推論を行う機械学習モデルのクラスである。 本稿では,WNN アーキテクチャ BTHOWeN を提案する。 BTHOWeNは、より優れたレイテンシとエネルギー効率を提供することで、大規模で成長するエッジコンピューティングセクターをターゲットにしている。
  論文  参考訳（メタデータ） (2022-03-03T01:46:05Z)
• PFGE: Parsimonious Fast Geometric Ensembling of DNNs [6.973476713852153]
  本稿では,高性能深層ニューラルネットワークの軽量アンサンブルを用いたPFGE( parsimonious FGE)を提案する。 以上の結果から,PFGE 5xのメモリ効率は従来の手法に比べて向上した。
  論文  参考訳（メタデータ） (2022-02-14T12:27:46Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via Calibrated Dirichlet Prior RNN [98.4713940310056]
  現代パーソナルアシスタントにおける音声言語理解(SLU)の主な課題は、発話から意味概念を抽出することである。 最近の研究では、疑問と回答を収集し、未知のデータを学習し、質問すべきである。 疑わしい監督なしにシーケンスの不確かさをモデル化するために、ソフトマックスベースのスロット充填ニューラルネットワークアーキテクチャを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-16T02:12:30Z)
• MomentumRNN: Integrating Momentum into Recurrent Neural Networks [32.40217829362088]
  我々は,MomentumRNNが,RNNのトレーニングにおいて消失する勾配問題を緩和することを示した。 MomentumRNNは、最先端のRNNなど、様々な種類のリカレント細胞に適用できる。 本稿では,Adam や Nesterov などの高度運動量に基づく最適化手法が再起動によって高速化され,MomentumRNN フレームワークに容易に組み込めることを示す。
  論文  参考訳（メタデータ） (2020-06-12T03:02:29Z)
• Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack [73.48927855855219]
  リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。 RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。 これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。 本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
  論文  参考訳（メタデータ） (2020-04-04T14:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。