論文の概要: DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local Spherical-BEV Perception

• arxiv url: http://arxiv.org/abs/2403.01740v1
• Date: Mon, 4 Mar 2024 05:38:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 20:07:09.701071
• Title: DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local Spherical-BEV Perception
• Title（参考訳）: DEMOS:局所球-BEV知覚による3次元シーンの動的環境運動合成
• Authors: Jingyu Gong, Min Wang, Wentao Liu, Chen Qian, Zhizhong Zhang, Yuan Xie, Lizhuang Ma
• Abstract要約: 本研究では,動的環境運動合成フレームワーク(DEMOS)を提案する。 次に、最終動作合成のために潜在動作を動的に更新する。 その結果,本手法は従来の手法よりも優れ,動的環境の処理性能も優れていた。
• 参考スコア（独自算出の注目度）: 54.02566476357383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motion synthesis in real-world 3D scenes has recently attracted much attention. However, the static environment assumption made by most current methods usually cannot be satisfied especially for real-time motion synthesis in scanned point cloud scenes, if multiple dynamic objects exist, e.g., moving persons or vehicles. To handle this problem, we propose the first Dynamic Environment MOtion Synthesis framework (DEMOS) to predict future motion instantly according to the current scene, and use it to dynamically update the latent motion for final motion synthesis. Concretely, we propose a Spherical-BEV perception method to extract local scene features that are specifically designed for instant scene-aware motion prediction. Then, we design a time-variant motion blending to fuse the new predicted motions into the latent motion, and the final motion is derived from the updated latent motions, benefitting both from motion-prior and iterative methods. We unify the data format of two prevailing datasets, PROX and GTA-IM, and take them for motion synthesis evaluation in 3D scenes. We also assess the effectiveness of the proposed method in dynamic environments from GTA-IM and Semantic3D to check the responsiveness. The results show our method outperforms previous works significantly and has great performance in handling dynamic environments.
• Abstract（参考訳）: 現実の3Dシーンにおけるモーション合成は近年注目を集めている。 しかし、現在のほとんどの方法による静的環境の仮定は、例えば移動人や車両など複数の動的物体が存在する場合、特に走査された点雲のシーンにおけるリアルタイムな動き合成では満足できない。 この問題に対処するために,現在のシーンに応じて瞬時に将来の動きを予測できる最初の動的環境動作合成フレームワーク (demos) を提案し,最終動作合成のために潜在動作を動的に更新する。 具体的には,インスタントシーン認識のための局所的シーン特徴抽出のための球面bev知覚法を提案する。 次に,新しい予測された動きを潜在運動に融合する時間変化運動を設計,最終動作は更新された潜在運動から導出し,運動優先法と反復法の両方の利点を享受する。 proxとgta-imという2つのデータセットのデータフォーマットを統一し、3dシーンでのモーション合成評価を行う。 また,gta-imおよびsemantic3dを用いた動的環境における提案手法の有効性について検討した。 その結果,本手法は従来の手法よりも優れ,動的環境の処理性能も優れていた。

関連論文リスト

• Forecasting Future Videos from Novel Views via Disentangled 3D Scene Representation [54.60804602905519]
  我々は、階層化されたシーン形状、動き予測、新しいビュー合成を一緒にモデル化することを目的として、絡み合った表現を学習する。 本手法では,2次元のシーンを3次元の点群に持ち上げることによって,シーン形状をシーンの動きから切り離す。 将来の3次元シーンの動作をモデル化するために,まず自我運動を予測し,その後に動的物体の残留運動を予測する2段階のアンタングル手法を提案する。
  論文  参考訳（メタデータ） (2024-07-31T08:54:50Z)
• Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
  本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。 シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。 本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• GaussianPrediction: Dynamic 3D Gaussian Prediction for Motion Extrapolation and Free View Synthesis [71.24791230358065]
  動的シーンモデリングと将来のシナリオ合成により,3次元ガウス表現を実現する新しいフレームワークを提案する。 GaussianPredictionは、ダイナミックなシーンのビデオ観察を使用して、あらゆる視点から将来の状態を予測できる。 本フレームワークは,合成データセットと実世界のデータセットの両方で優れた性能を示し,将来の環境の予測とレンダリングの有効性を示す。
  論文  参考訳（メタデータ） (2024-05-30T06:47:55Z)
• DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis with 3D Gaussian Splatting [35.69069478773709]
  動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。 我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
  論文  参考訳（メタデータ） (2023-11-30T18:59:11Z)
• Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
  動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。 我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。 我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
  論文  参考訳（メタデータ） (2023-08-18T17:59:21Z)
• PREF: Predictability Regularized Neural Motion Fields [68.60019434498703]
  ダイナミックなシーンで3Dの動きを知ることは、多くの視覚応用にとって不可欠である。 多視点設定における全ての点の運動を推定するために神経運動場を利用する。 予測可能な動きを正規化することを提案する。
  論文  参考訳（メタデータ） (2022-09-21T22:32:37Z)
• Temporal View Synthesis of Dynamic Scenes through 3D Object Motion Estimation with Multi-Plane Images [8.185918509343816]
  本稿では,ビデオの次のフレームを予測することを目的として,時間的視点合成(TVS)の問題について検討する。 本研究では,ユーザとオブジェクトの両方が動いている動的シーンのTVSについて考察する。 過去のフレームにおける3次元物体の動きを分離・推定し,その外挿により物体の動きを予測する。
  論文  参考訳（メタデータ） (2022-08-19T17:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。