論文の概要: Future Video Synthesis with Object Motion Prediction
- arxiv url: http://arxiv.org/abs/2004.00542v2
- Date: Wed, 15 Apr 2020 10:55:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-17 19:02:56.444438
- Title: Future Video Synthesis with Object Motion Prediction
- Title（参考訳）: 物体運動予測による将来の映像合成
- Authors: Yue Wu, Rongrong Gao, Jaesik Park, Qifeng Chen
- Abstract要約: 画像を直接合成するのではなく、複雑なシーンのダイナミクスを理解するように設計されている。
将来のシーンコンポーネントの出現は、背景の非剛性変形と移動物体のアフィン変換によって予測される。
CityscapesとKITTIデータセットの実験結果から、我々のモデルは視覚的品質と精度で最先端のモデルよりも優れています。
- 参考スコア（独自算出の注目度）: 54.31508711871764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present an approach to predict future video frames given a sequence of
continuous video frames in the past. Instead of synthesizing images directly,
our approach is designed to understand the complex scene dynamics by decoupling
the background scene and moving objects. The appearance of the scene components
in the future is predicted by non-rigid deformation of the background and
affine transformation of moving objects. The anticipated appearances are
combined to create a reasonable video in the future. With this procedure, our
method exhibits much less tearing or distortion artifact compared to other
approaches. Experimental results on the Cityscapes and KITTI datasets show that
our model outperforms the state-of-the-art in terms of visual quality and
accuracy.
- Abstract（参考訳）: 本稿では,過去の連続的な映像フレームの系列から,将来の映像フレームを予測する手法を提案する。
画像を直接合成する代わりに、背景シーンと動くオブジェクトを分離することで複雑なシーンのダイナミクスを理解するように設計されている。
未来におけるシーンコンポーネントの出現は、背景の非剛性変形と移動物体のアフィン変換によって予測される。
予想された外観が組み合わさって、将来の妥当なビデオが作られる。
この方法では, 他の手法に比べ, 破断や歪みのアーチファクトがはるかに少ない。
CityscapesとKITTIデータセットの実験結果から、我々のモデルは視覚的品質と精度で最先端のモデルよりも優れています。
関連論文リスト
- Forecasting Future Videos from Novel Views via Disentangled 3D Scene Representation [54.60804602905519]
我々は、階層化されたシーン形状、動き予測、新しいビュー合成を一緒にモデル化することを目的として、絡み合った表現を学習する。
本手法では,2次元のシーンを3次元の点群に持ち上げることによって,シーン形状をシーンの動きから切り離す。
将来の3次元シーンの動作をモデル化するために,まず自我運動を予測し,その後に動的物体の残留運動を予測する2段階のアンタングル手法を提案する。
論文 参考訳（メタデータ） (2024-07-31T08:54:50Z) - Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳（メタデータ） (2024-01-10T23:26:41Z) - WALDO: Future Video Synthesis using Object Layer Decomposition and
Parametric Flow Prediction [82.79642869586587]
WALDOは、過去のビデオフレームを予測するための新しいアプローチである。
個々の画像は、オブジェクトマスクと小さなコントロールポイントのセットを組み合わせた複数の層に分解される。
レイヤ構造は、各ビデオ内のすべてのフレーム間で共有され、フレーム間の密接な接続を構築する。
論文 参考訳（メタデータ） (2022-11-25T18:59:46Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z) - Temporal View Synthesis of Dynamic Scenes through 3D Object Motion
Estimation with Multi-Plane Images [8.185918509343816]
本稿では,ビデオの次のフレームを予測することを目的として,時間的視点合成(TVS)の問題について検討する。
本研究では,ユーザとオブジェクトの両方が動いている動的シーンのTVSについて考察する。
過去のフレームにおける3次元物体の動きを分離・推定し,その外挿により物体の動きを予測する。
論文 参考訳（メタデータ） (2022-08-19T17:40:13Z) - Stochastic Video Prediction with Structure and Motion [14.424465835834042]
本稿では,映像観察を静的・動的成分に分解する手法を提案する。
前景と背景の変化の分布を別々に学習することで、シーンを静的と動的に分解することができる。
我々の実験は、遠心構造と動きが映像の予測に役立ち、複雑な運転シナリオにおける将来の予測に繋がることを示した。
論文 参考訳（メタデータ） (2022-03-20T11:29:46Z) - Learning Semantic-Aware Dynamics for Video Prediction [68.04359321855702]
非閉塞を明示的にモデル化して,映像フレームを予測するためのアーキテクチャとトレーニング方式を提案する。
シーンの外観は、コ・ヴィジュアブル領域の予測された動きを用いて過去のフレームから歪められる。
論文 参考訳（メタデータ） (2021-04-20T05:00:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。