論文の概要: MotionRNN: A Flexible Model for Video Prediction with Spacetime-Varying Motions

• arxiv url: http://arxiv.org/abs/2103.02243v2
• Date: Thu, 4 Mar 2021 08:55:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-07 07:35:04.256637
• Title: MotionRNN: A Flexible Model for Video Prediction with Spacetime-Varying Motions
• Title（参考訳）: MotionRNN:時空変動運動を用いたフレキシブルな映像予測モデル
• Authors: Haixu Wu, Zhiyu Yao, Mingsheng Long, Jianmin Wang
• Abstract要約: 本稿では,空間と時間の両方に連続する時空変動を予測できる新たな次元からビデオ予測を行う。 本研究では,動きの複雑な変動を捉え,時空変化に適応できるMotionRNNフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 70.30211294212603
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper tackles video prediction from a new dimension of predicting spacetime-varying motions that are incessantly changing across both space and time. Prior methods mainly capture the temporal state transitions but overlook the complex spatiotemporal variations of the motion itself, making them difficult to adapt to ever-changing motions. We observe that physical world motions can be decomposed into transient variation and motion trend, while the latter can be regarded as the accumulation of previous motions. Thus, simultaneously capturing the transient variation and the motion trend is the key to make spacetime-varying motions more predictable. Based on these observations, we propose the MotionRNN framework, which can capture the complex variations within motions and adapt to spacetime-varying scenarios. MotionRNN has two main contributions. The first is that we design the MotionGRU unit, which can model the transient variation and motion trend in a unified way. The second is that we apply the MotionGRU to RNN-based predictive models and indicate a new flexible video prediction architecture with a Motion Highway that can significantly improve the ability to predict changeable motions and avoid motion vanishing for stacked multiple-layer predictive models. With high flexibility, this framework can adapt to a series of models for deterministic spatiotemporal prediction. Our MotionRNN can yield significant improvements on three challenging benchmarks for video prediction with spacetime-varying motions.
• Abstract（参考訳）: 本稿では,空間と時間の両方で絶え間なく変化する時空変動運動を予測する新たな次元から映像予測に取り組む。 以前の方法は、主に時間状態遷移を捕捉するが、運動自体の複雑な時空間変動を見落とし、絶えず変化する動きに適応することは困難である。 物理世界の動きは過渡的な変動と動きの傾向に分解できるが、後者は過去の動きの蓄積と見なすことができる。 したがって、時空変動運動をより予測可能にする鍵は、過渡変動と運動トレンドを同時に捉えることである。 これらの観察に基づいて,モーション内の複雑な変動を捉え,時空変動のシナリオに適応できる motionrnn フレームワークを提案する。 MotionRNNには2つの主な貢献がある。 1つ目は、過渡変動と動きの傾向を統一的にモデル化できるモーションGRUユニットを設計することである。 2つ目は、rnnベースの予測モデルにmotiongruを適用し、変化可能な動きの予測能力を大幅に向上し、積み重ねられた多層予測モデルにおける動き消失を回避する新しいフレキシブルビデオ予測アーキテクチャを示すことである。 高い柔軟性により、このフレームワークは決定論的時空間予測のための一連のモデルに適応することができる。 当社の MotionRNN は、時空変動運動によるビデオ予測の3つの困難なベンチマークで大幅な改善をもたらすことができます。

関連論文リスト

• Generalizable Implicit Motion Modeling for Video Frame Interpolation [51.966062283735596]
  フローベースビデオフレーム補間(VFI)における動きの重要性 General Implicit Motion Modeling (IMM)は、モーションモデリングVFIの新規かつ効果的なアプローチである。 我々のGIMMは、既存のフローベースのVFIワークとスムーズに統合できます。
  論文  参考訳（メタデータ） (2024-07-11T17:13:15Z)
• ETTrack: Enhanced Temporal Motion Predictor for Multi-Object Tracking [4.250337979548885]
  時間的動き予測器であるETTrackを用いた動きに基づくMOT手法を提案する。 具体的には、動作予測器は、変換器モデルと時間畳み込みネットワーク(TCN)を統合して、短期および長期の動作パターンをキャプチャする。 本研究では,DanceTrackとSportsMOTの最先端トラッカーと比較して,ETTrackの競争性能が向上していることを示す。
  論文  参考訳（メタデータ） (2024-05-24T17:51:33Z)
• Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
  スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。 大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T14:47:18Z)
• Motion-I2V: Consistent and Controllable Image-to-Video Generation with Explicit Motion Modeling [62.19142543520805]
  Motion-I2Vは、一貫した制御可能な画像対ビデオ生成のためのフレームワークである。 I2Vを2段階に分解し、明示的なモーションモデリングを行う。 Motion-I2Vの第2ステージは、ゼロショットビデオからビデオへの変換を自然にサポートしている。
  論文  参考訳（メタデータ） (2024-01-29T09:06:43Z)
• MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
  本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。 実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-06-05T04:24:11Z)
• Learning Variational Motion Prior for Video-based Motion Capture [31.79649766268877]
  ビデオに基づくモーションキャプチャーのための新しい変分動作先行学習手法(VMP)を提案する。 我々のフレームワークはフレームワイドポーズ推定における時間的ジッタリングと障害モードを効果的に削減できる。 公開データセットとインザワイルドビデオの両方を用いた実験により、我々のフレームワークの有効性と一般化能力が実証された。
  論文  参考訳（メタデータ） (2022-10-27T02:45:48Z)
• NeMF: Neural Motion Fields for Kinematic Animation [6.570955948572252]
  巨大な運動空間を時間とともに連続関数として表現するため、Neural Motion Fields (NeMF) と呼ぶ。 我々はニューラルネットワークを用いて、この関数をさまざまな動きの集合として学習する。 私たちは、その汎用性を証明するために、多様な人間の動きデータセットと四重組データセットでモデルをトレーニングします。
  論文  参考訳（メタデータ） (2022-06-04T05:53:27Z)
• Weakly-supervised Action Transition Learning for Stochastic Human Motion Prediction [81.94175022575966]
  動作駆動型人間の動作予測の課題について紹介する。 一連の動作ラベルと短い動作履歴から、複数の可算な将来の動作を予測することを目的としている。
  論文  参考訳（メタデータ） (2022-05-31T08:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。