論文の概要: MotionRNN: A Flexible Model for Video Prediction with Spacetime-Varying
Motions
- arxiv url: http://arxiv.org/abs/2103.02243v1
- Date: Wed, 3 Mar 2021 08:11:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-07 00:01:38.094408
- Title: MotionRNN: A Flexible Model for Video Prediction with Spacetime-Varying
Motions
- Title(参考訳): MotionRNN:時空変動運動を用いたフレキシブルな映像予測モデル
- Authors: Haixu Wu, Zhiyu Yao, Mingsheng Long, Jianmin Wan
- Abstract要約: 本稿では,空間と時間の両方に連続する時空変動を予測できる新たな次元からビデオ予測を行う。
本研究では,動きの複雑な変動を捉え,時空変化に適応できるMotionRNNフレームワークを提案する。
- 参考スコア(独自算出の注目度): 47.741439266808314
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper tackles video prediction from a new dimension of predicting
spacetime-varying motions that are incessantly changing across both space and
time. Prior methods mainly capture the temporal state transitions but overlook
the complex spatiotemporal variations of the motion itself, making them
difficult to adapt to ever-changing motions. We observe that physical world
motions can be decomposed into transient variation and motion trend, while the
latter can be regarded as the accumulation of previous motions. Thus,
simultaneously capturing the transient variation and the motion trend is the
key to make spacetime-varying motions more predictable. Based on these
observations, we propose the MotionRNN framework, which can capture the complex
variations within motions and adapt to spacetime-varying scenarios. MotionRNN
has two main contributions. The first is that we design the MotionGRU unit,
which can model the transient variation and motion trend in a unified way. The
second is that we apply the MotionGRU to RNN-based predictive models and
indicate a new flexible video prediction architecture with a Motion Highway
that can significantly improve the ability to predict changeable motions and
avoid motion vanishing for stacked multiple-layer predictive models. With high
flexibility, this framework can adapt to a series of models for deterministic
spatiotemporal prediction. Our MotionRNN can yield significant improvements on
three challenging benchmarks for video prediction with spacetime-varying
motions.
- Abstract(参考訳): 本稿では,空間と時間の両方で絶え間なく変化する時空変動運動を予測する新たな次元から映像予測に取り組む。
以前の方法は、主に時間状態遷移を捕捉するが、運動自体の複雑な時空間変動を見落とし、絶えず変化する動きに適応することは困難である。
物理世界の動きは過渡的な変動と動きの傾向に分解できるが、後者は過去の動きの蓄積と見なすことができる。
したがって、時空変動運動をより予測可能にする鍵は、過渡変動と運動トレンドを同時に捉えることである。
これらの観察に基づいて,モーション内の複雑な変動を捉え,時空変動のシナリオに適応できる motionrnn フレームワークを提案する。
MotionRNNには2つの主な貢献がある。
1つ目は、過渡変動と動きの傾向を統一的にモデル化できるモーションGRUユニットを設計することである。
2つ目は、rnnベースの予測モデルにmotiongruを適用し、変化可能な動きの予測能力を大幅に向上し、積み重ねられた多層予測モデルにおける動き消失を回避する新しいフレキシブルビデオ予測アーキテクチャを示すことである。
高い柔軟性により、このフレームワークは決定論的時空間予測のための一連のモデルに適応することができる。
当社の MotionRNN は、時空変動運動によるビデオ予測の3つの困難なベンチマークで大幅な改善をもたらすことができます。
関連論文リスト
- Motion-I2V: Consistent and Controllable Image-to-Video Generation with
Explicit Motion Modeling [62.19142543520805]
Motion-I2Vは、一貫した制御可能な画像対ビデオ生成のためのフレームワークである。
I2Vを2段階に分解し、明示的なモーションモデリングを行う。
Motion-I2Vの第2ステージは、ゼロショットビデオからビデオへの変換を自然にサポートしている。
論文 参考訳(メタデータ) (2024-01-29T09:06:43Z) - MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。
実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-06-05T04:24:11Z) - Towards Consistent Stochastic Human Motion Prediction via Motion
Diffusion [8.10696589962658]
そこで我々は,DiffMotionをエンドツーエンドの拡散に基づくHuman Motion Predictionフレームワークとして提案する。
ベンチマーク分析の結果,DiffMotionは精度と忠実度の両方で従来の手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2023-05-21T19:31:56Z) - Learning Variational Motion Prior for Video-based Motion Capture [31.79649766268877]
ビデオに基づくモーションキャプチャーのための新しい変分動作先行学習手法(VMP)を提案する。
我々のフレームワークはフレームワイドポーズ推定における時間的ジッタリングと障害モードを効果的に削減できる。
公開データセットとインザワイルドビデオの両方を用いた実験により、我々のフレームワークの有効性と一般化能力が実証された。
論文 参考訳(メタデータ) (2022-10-27T02:45:48Z) - Motion Transformer with Global Intention Localization and Local Movement
Refinement [103.75625476231401]
動き TRansformer (MTR) は、大域的意図の局所化と局所的な動きの洗練の合同最適化として、動き予測をモデル化する。
MTRは、限界運動予測と関節運動予測の両方において最先端の性能を達成する。
論文 参考訳(メタデータ) (2022-09-27T16:23:14Z) - PREF: Predictability Regularized Neural Motion Fields [68.60019434498703]
ダイナミックなシーンで3Dの動きを知ることは、多くの視覚応用にとって不可欠である。
多視点設定における全ての点の運動を推定するために神経運動場を利用する。
予測可能な動きを正規化することを提案する。
論文 参考訳(メタデータ) (2022-09-21T22:32:37Z) - NeMF: Neural Motion Fields for Kinematic Animation [6.570955948572252]
巨大な運動空間を時間とともに連続関数として表現するため、Neural Motion Fields (NeMF) と呼ぶ。
我々はニューラルネットワークを用いて、この関数をさまざまな動きの集合として学習する。
私たちは、その汎用性を証明するために、多様な人間の動きデータセットと四重組データセットでモデルをトレーニングします。
論文 参考訳(メタデータ) (2022-06-04T05:53:27Z) - Weakly-supervised Action Transition Learning for Stochastic Human Motion
Prediction [81.94175022575966]
動作駆動型人間の動作予測の課題について紹介する。
一連の動作ラベルと短い動作履歴から、複数の可算な将来の動作を予測することを目的としている。
論文 参考訳(メタデータ) (2022-05-31T08:38:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。