論文の概要: Class-agnostic Reconstruction of Dynamic Objects from Videos
- arxiv url: http://arxiv.org/abs/2112.02091v1
- Date: Fri, 3 Dec 2021 18:57:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-06 14:59:09.633302
- Title: Class-agnostic Reconstruction of Dynamic Objects from Videos
- Title（参考訳）: 映像からの動的物体のクラス別再構成
- Authors: Zhongzheng Ren, Xiaoming Zhao, Alexander G. Schwing
- Abstract要約: 動的オブジェクトをRGBDや校正ビデオから再構成するためのクラスに依存しないフレームワークであるREDOを紹介する。
我々は2つの新しいモジュールを開発し、まず、時間的視覚的手がかりを集約したピクセル整合性を持つ正準4次元暗黙関数を導入する。
第2に、時間的伝播と集約をサポートするためにオブジェクトのダイナミクスをキャプチャする4D変換モジュールを開発する。
- 参考スコア（独自算出の注目度）: 127.41336060616214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce REDO, a class-agnostic framework to REconstruct the Dynamic
Objects from RGBD or calibrated videos. Compared to prior work, our problem
setting is more realistic yet more challenging for three reasons: 1) due to
occlusion or camera settings an object of interest may never be entirely
visible, but we aim to reconstruct the complete shape; 2) we aim to handle
different object dynamics including rigid motion, non-rigid motion, and
articulation; 3) we aim to reconstruct different categories of objects with one
unified framework. To address these challenges, we develop two novel modules.
First, we introduce a canonical 4D implicit function which is pixel-aligned
with aggregated temporal visual cues. Second, we develop a 4D transformation
module which captures object dynamics to support temporal propagation and
aggregation. We study the efficacy of REDO in extensive experiments on
synthetic RGBD video datasets SAIL-VOS 3D and DeformingThings4D++, and on
real-world video data 3DPW. We find REDO outperforms state-of-the-art dynamic
reconstruction methods by a margin. In ablation studies we validate each
developed component.
- Abstract（参考訳）: 動的オブジェクトをRGBDや校正ビデオから再構成するためのクラスに依存しないフレームワークであるREDOを紹介する。
以前の作業と比較して、私たちの問題設定はより現実的だが、3つの理由により難しい。
1) 閉塞やカメラの設定により,興味のある対象が完全には見えないかもしれないが,完全な形状を再構築することを目指している。
2) 剛体運動, 非剛体運動, 調音など, 異なる物体力学を扱うことを目的とする。
3) 1つの統一フレームワークで異なるカテゴリのオブジェクトを再構築することを目指している。
これらの課題に対処するため、我々は2つの新しいモジュールを開発した。
まず,時間的視覚的手がかりを集約した画素アライメントを持つ正準4次元暗黙関数を提案する。
第2に,オブジェクトのダイナミクスをキャプチャして,時間的伝播と集約をサポートする4次元変換モジュールを開発した。
合成RGBDビデオデータセットSAIL-VOS 3D,DeformingThings4D++,および実世界のビデオデータ3DPWにおけるREDOの有効性を検討した。
redoは最先端のダイナミックリコンストラクション手法をわずかに上回っている。
アブレーション研究では、それぞれの発達した成分を検証する。
関連論文リスト
- LEIA: Latent View-invariant Embeddings for Implicit 3D Articulation [32.27869897947267]
動的3Dオブジェクトを表現するための新しいアプローチであるLEIAを紹介する。
我々の手法は、オブジェクトを異なる時間ステップまたは「状態」で観察し、現在の状態にハイパーネットワークを条件付けることである。
これらの状態の補間により、以前は見えなかった3次元空間に新しい調音構成を生成することができる。
論文 参考訳（メタデータ） (2024-09-10T17:59:53Z) - Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。
ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。
提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
論文 参考訳（メタデータ） (2024-07-30T15:33:58Z) - Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。
シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。
本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-07-18T17:59:08Z) - DreamScene4D: Dynamic Multi-Object Scene Generation from Monocular Videos [21.93514516437402]
本稿では,新しいビュー合成によるモノクロ映像から複数の物体の3次元動的シーンを生成するための最初のアプローチであるDreamScene4Dを紹介する。
私たちの重要な洞察は、ビデオシーンを背景とオブジェクトトラックに分解する"分解分解"アプローチです。
DAVIS, Kubric, 自撮りビデオについて, 定量的比較とユーザ嗜好調査を行った。
論文 参考訳（メタデータ） (2024-05-03T17:55:34Z) - REACTO: Reconstructing Articulated Objects from a Single Video [64.89760223391573]
関節の柔軟な変形を維持しつつ各部の剛性を向上する新しい変形モデルを提案する。
提案手法は, 従来よりも高忠実度な3D再構成を実現する上で, 従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-04-17T08:01:55Z) - DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and
Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。
本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。
我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-03-09T12:22:46Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。