論文の概要: 4D Visualization of Dynamic Events from Unconstrained Multi-View Videos
- arxiv url: http://arxiv.org/abs/2005.13532v1
- Date: Wed, 27 May 2020 17:57:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 09:43:53.993992
- Title: 4D Visualization of Dynamic Events from Unconstrained Multi-View Videos
- Title(参考訳): 非拘束マルチビュービデオからの動的イベントの4次元可視化
- Authors: Aayush Bansal, Minh Vo, Yaser Sheikh, Deva Ramanan, Srinivasa
Narasimhan
- Abstract要約: ハンドヘルド複数カメラで撮影したビデオから4次元の時空間で動的事象を可視化するためのデータ駆動型アプローチを提案する。
このアプローチの鍵となるのは、イベントの静的および動的側面を構成するために、シーン固有の自己教師型ニューラルネットワークを使用することです。
このモデルでは,(1)時刻の凍結と視界探索,(2)視点の凍結と時間移動,(3)時間と視界の同時変更を行う仮想カメラを作成することができる。
- 参考スコア(独自算出の注目度): 77.48430951972928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a data-driven approach for 4D space-time visualization of dynamic
events from videos captured by hand-held multiple cameras. Key to our approach
is the use of self-supervised neural networks specific to the scene to compose
static and dynamic aspects of an event. Though captured from discrete
viewpoints, this model enables us to move around the space-time of the event
continuously. This model allows us to create virtual cameras that facilitate:
(1) freezing the time and exploring views; (2) freezing a view and moving
through time; and (3) simultaneously changing both time and view. We can also
edit the videos and reveal occluded objects for a given view if it is visible
in any of the other views. We validate our approach on challenging in-the-wild
events captured using up to 15 mobile cameras.
- Abstract(参考訳): 本稿では,ハンドヘルドマルチカメラで撮影された映像から動的イベントを4次元時空可視化するデータ駆動手法を提案する。
我々のアプローチの鍵は、イベントの静的および動的側面を構成するためにシーン固有の自己教師型ニューラルネットワークを使用することである。
離散的な視点から捉えられるが、このモデルは連続的にイベントの時空を動き回ることができる。
このモデルにより, (1) 時間凍結と視点探索, (2) 視野凍結と時間移動, (3) 時間とビューの両方を同時に変化させる仮想カメラが作成できる。
ビデオの編集も可能で、他のビューに表示されていれば、任意のビューに対してオクルードされたオブジェクトを表示できます。
我々は,最大15台のモバイルカメラで撮影したWild内イベントに対するアプローチを検証する。
関連論文リスト
- Holoported Characters: Real-time Free-viewpoint Rendering of Humans from
Sparse RGB Cameras [69.4564941520387]
一般のアパレルにおいて,人間俳優の高度にリアルなフリー視点映像をレンダリングするための最初のアプローチを提案する。
提案手法は,動作中のアクターの4つのカメラビューと,各3次元骨格ポーズのみを必要とする。
広い服装の俳優を扱い、さらに細かなダイナミックディテールを再現する。
論文 参考訳(メタデータ) (2023-12-12T16:45:52Z) - Make-It-4D: Synthesizing a Consistent Long-Term Dynamic Scene Video from
a Single Image [59.18564636990079]
本研究では,1枚の画像のみから長期ダイナミック映像を合成する問題について検討する。
既存の方法は、一貫性のない永遠の視点を幻覚させるか、長いカメラの軌跡に苦しむかのいずれかである。
一つの画像から一貫した長期動画像を生成する新しい方法であるMake-It-4Dを提案する。
論文 参考訳(メタデータ) (2023-08-20T12:53:50Z) - Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [60.171882970835625]
動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。
具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
論文 参考訳(メタデータ) (2023-04-04T11:25:44Z) - A Portable Multiscopic Camera for Novel View and Time Synthesis in
Dynamic Scenes [42.00094186447837]
ダイナミックなシーンにおける新しいビューと時間合成のための専用モデルを備えた携帯型マルチスコープカメラシステムを提案する。
私たちのゴールは、ポータブルなマルチスコープカメラを使って、いつでもあらゆる視点から、ダイナミックなシーンの高品質な画像をレンダリングすることです。
論文 参考訳(メタデータ) (2022-08-30T17:53:17Z) - Playable Environments: Video Manipulation in Space and Time [98.0621309257937]
再生可能な環境 - 空間と時間におけるインタラクティブなビデオ生成と操作のための新しい表現。
提案フレームワークでは,1枚の画像を推論時に生成し,対象物を3次元に移動させ,所望のアクションを連続して生成する。
提案手法は,各フレームの環境状態を構築し,提案したアクションモジュールで操作し,ボリュームレンダリングで画像空間に復号化することができる。
論文 参考訳(メタデータ) (2022-03-03T18:51:05Z) - Learning to Deblur and Rotate Motion-Blurred Faces [43.673660541417995]
ニューラルネットワークを用いて、1つの画像と対応する顔の視線から3Dビデオ表現を再構成する。
次に、推定視線に対するカメラ視点と、エンコーダデコーダネットワークに入力されるぼやけた画像とを比較し、新しいカメラ視点でシャープフレームのビデオを生成する。
論文 参考訳(メタデータ) (2021-12-14T17:51:19Z) - Recognizing Actions in Videos from Unseen Viewpoints [80.6338404141284]
本研究では,現在の畳み込みニューラルネットワークモデルでは,トレーニングデータに存在しないカメラ視点からの動作を認識できないことを示す。
視認不能な認識のための新しいデータセットを導入し、視点不変表現を学習するアプローチ能力を示す。
論文 参考訳(メタデータ) (2021-03-30T17:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。