論文の概要: PAPR in Motion: Seamless Point-level 3D Scene Interpolation
- arxiv url: http://arxiv.org/abs/2406.05533v1
- Date: Sat, 8 Jun 2024 17:27:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 19:16:08.545653
- Title: PAPR in Motion: Seamless Point-level 3D Scene Interpolation
- Title（参考訳）: PAPR in Motion: Seamless Point-level 3D Scene Interpolation
- Authors: Shichong Peng, Yanshu Zhang, Ke Li,
- Abstract要約: PAPR in Motion」は、大きなシーンの変化をブリッジし、幾何学と外観の両面において視覚的一貫性と時間的滑らかさを生み出すように設計されている。
多様な動作タイプによる評価は、「動作中のPAPR」が、ダイナミックシーンにおける主要なニューラルシーンよりも優れていることを示している。
- 参考スコア（独自算出の注目度）: 6.437067581742357
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose the problem of point-level 3D scene interpolation, which aims to simultaneously reconstruct a 3D scene in two states from multiple views, synthesize smooth point-level interpolations between them, and render the scene from novel viewpoints, all without any supervision between the states. The primary challenge is on achieving a smooth transition between states that may involve significant and non-rigid changes. To address these challenges, we introduce "PAPR in Motion", a novel approach that builds upon the recent Proximity Attention Point Rendering (PAPR) technique, which can deform a point cloud to match a significantly different shape and render a visually coherent scene even after non-rigid deformations. Our approach is specifically designed to maintain the temporal consistency of the geometric structure by introducing various regularization techniques for PAPR. The result is a method that can effectively bridge large scene changes and produce visually coherent and temporally smooth interpolations in both geometry and appearance. Evaluation across diverse motion types demonstrates that "PAPR in Motion" outperforms the leading neural renderer for dynamic scenes. For more results and code, please visit our project website at https://niopeng.github.io/PAPR-in-Motion/ .
- Abstract（参考訳）: 複数の視点から2つの状態において同時に3Dシーンを再構築し、それらの間の滑らかな点レベル補間を合成し、各状態間の監督なしに新規な視点からシーンをレンダリングする点レベル3Dシーン補間問題を提案する。
主な課題は、重要な変化と非厳密な変化を含む状態間のスムーズな遷移を達成することである。
これらの課題に対処するため,近年のPAPR(Proximity Attention Point Rendering)技術に基づく新しいアプローチであるPAPR(PAPR in Motion)を導入する。
本手法は,PAPRに様々な正規化手法を導入することにより,幾何構造の時間的整合性を維持するように設計されている。
その結果、大きなシーンの変化を効果的に橋渡しし、幾何学と外観の両方において視覚的に一貫性があり、時間的に滑らかな補間を生成することができる。
多様なモーションタイプによる評価は、「動作中のPAPR」がダイナミックシーンにおける主要なニューラルレンダラーよりも優れていることを示している。
さらなる結果とコードについては、プロジェクトのWebサイト(https://niopeng.github.io/PAPR-in-Motion/)を参照してください。
関連論文リスト
- Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。
シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。
本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-07-18T17:59:08Z) - Dynamic 3D Point Cloud Sequences as 2D Videos [81.46246338686478]
3Dポイントクラウドシーケンスは、現実世界の環境における最も一般的で実用的な表現の1つとして機能する。
textitStructured Point Cloud Videos (SPCV) と呼ばれる新しい汎用表現を提案する。
SPCVは点雲列を空間的滑らかさと時間的一貫性を持つ2Dビデオとして再編成し、画素値は点の3D座標に対応する。
論文 参考訳（メタデータ） (2024-03-02T08:18:57Z) - SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。
本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。
提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
論文 参考訳（メタデータ） (2023-12-04T11:57:14Z) - PSVT: End-to-End Multi-person 3D Pose and Shape Estimation with
Progressive Video Transformers [71.72888202522644]
本稿では,プログレッシブ・ビデオ・トランスフォーマーを用いたエンドツーエンドのマルチパーソン3D・形状推定フレームワークを提案する。
PSVTでは、時空間エンコーダ(PGA)は空間オブジェクト間のグローバルな特徴依存性をキャプチャする。
時間の経過とともにオブジェクトの分散を処理するために、プログレッシブデコーディングの新しいスキームが使用される。
論文 参考訳（メタデータ） (2023-03-16T09:55:43Z) - GMA3D: Local-Global Attention Learning to Estimate Occluded Motions of
Scene Flow [3.2738068278607426]
局所的および大域的非閉塞点の運動情報から閉塞点の運動情報を推定するトランスフォーマフレームワークに基づくGMA3Dモジュールを提案する。
実験により,GMA3Dはシーンフロー,特に実シーンにおける閉塞問題を解くことができることがわかった。
論文 参考訳（メタデータ） (2022-10-07T03:09:00Z) - IDEA-Net: Dynamic 3D Point Cloud Interpolation via Deep Embedding
Alignment [58.8330387551499]
我々は、点方向軌跡(すなわち滑らかな曲線)の推定として問題を定式化する。
本稿では,学習した時間的一貫性の助けを借りて問題を解消する,エンドツーエンドのディープラーニングフレームワークであるIDEA-Netを提案する。
各種点群における本手法の有効性を実証し, 定量的かつ視覚的に, 最先端の手法に対する大幅な改善を観察する。
論文 参考訳（メタデータ） (2022-03-22T10:14:08Z) - Consistent Depth of Moving Objects in Video [52.72092264848864]
移動カメラで撮影した通常の映像から任意の移動物体を含む動的シーンの深さを推定する手法を提案する。
我々は、この目的を、深度予測CNNを入力ビデオ全体にわたって補助的なシーンフロー予測でタンデムで訓練する新しいテストタイムトレーニングフレームワークで定式化する。
我々は、さまざまな移動物体(ペット、人、車)とカメラの動きを含む様々な挑戦的なビデオに対して、正確かつ時間的に一貫性のある結果を示す。
論文 参考訳（メタデータ） (2021-08-02T20:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。