論文の概要: DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local
Spherical-BEV Perception
- arxiv url: http://arxiv.org/abs/2403.01740v1
- Date: Mon, 4 Mar 2024 05:38:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 20:07:09.701071
- Title: DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local
Spherical-BEV Perception
- Title(参考訳): DEMOS:局所球-BEV知覚による3次元シーンの動的環境運動合成
- Authors: Jingyu Gong, Min Wang, Wentao Liu, Chen Qian, Zhizhong Zhang, Yuan
Xie, Lizhuang Ma
- Abstract要約: 本研究では,動的環境運動合成フレームワーク(DEMOS)を提案する。
次に、最終動作合成のために潜在動作を動的に更新する。
その結果,本手法は従来の手法よりも優れ,動的環境の処理性能も優れていた。
- 参考スコア(独自算出の注目度): 54.02566476357383
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motion synthesis in real-world 3D scenes has recently attracted much
attention. However, the static environment assumption made by most current
methods usually cannot be satisfied especially for real-time motion synthesis
in scanned point cloud scenes, if multiple dynamic objects exist, e.g., moving
persons or vehicles. To handle this problem, we propose the first Dynamic
Environment MOtion Synthesis framework (DEMOS) to predict future motion
instantly according to the current scene, and use it to dynamically update the
latent motion for final motion synthesis. Concretely, we propose a
Spherical-BEV perception method to extract local scene features that are
specifically designed for instant scene-aware motion prediction. Then, we
design a time-variant motion blending to fuse the new predicted motions into
the latent motion, and the final motion is derived from the updated latent
motions, benefitting both from motion-prior and iterative methods. We unify the
data format of two prevailing datasets, PROX and GTA-IM, and take them for
motion synthesis evaluation in 3D scenes. We also assess the effectiveness of
the proposed method in dynamic environments from GTA-IM and Semantic3D to check
the responsiveness. The results show our method outperforms previous works
significantly and has great performance in handling dynamic environments.
- Abstract(参考訳): 現実の3Dシーンにおけるモーション合成は近年注目を集めている。
しかし、現在のほとんどの方法による静的環境の仮定は、例えば移動人や車両など複数の動的物体が存在する場合、特に走査された点雲のシーンにおけるリアルタイムな動き合成では満足できない。
この問題に対処するために,現在のシーンに応じて瞬時に将来の動きを予測できる最初の動的環境動作合成フレームワーク (demos) を提案し,最終動作合成のために潜在動作を動的に更新する。
具体的には,インスタントシーン認識のための局所的シーン特徴抽出のための球面bev知覚法を提案する。
次に,新しい予測された動きを潜在運動に融合する時間変化運動を設計,最終動作は更新された潜在運動から導出し,運動優先法と反復法の両方の利点を享受する。
proxとgta-imという2つのデータセットのデータフォーマットを統一し、3dシーンでのモーション合成評価を行う。
また,gta-imおよびsemantic3dを用いた動的環境における提案手法の有効性について検討した。
その結果,本手法は従来の手法よりも優れ,動的環境の処理性能も優れていた。
関連論文リスト
- Scaling Up Dynamic Human-Scene Interaction Modeling [60.21472701182632]
TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。
人体全体の動きや部分レベルの物体の動きを複雑に捉えます。
本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
論文 参考訳(メタデータ) (2024-03-13T15:45:04Z) - DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis
with 3D Gaussian Splatting [35.69069478773709]
動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。
我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
論文 参考訳(メタデータ) (2023-11-30T18:59:11Z) - DROP: Dynamics Responses from Human Motion Prior and Projective Dynamics [21.00283279991885]
DROPは、生成的mOtionと射影力学を用いた人間のダイナミクス応答をモデリングするための新しいフレームワークである。
様々な動作タスクや様々な物理的摂動にまたがってモデルを広範囲に評価し、応答のスケーラビリティと多様性を実証する。
論文 参考訳(メタデータ) (2023-09-24T20:25:59Z) - Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。
我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。
我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
論文 参考訳(メタデータ) (2023-08-18T17:59:21Z) - PREF: Predictability Regularized Neural Motion Fields [68.60019434498703]
ダイナミックなシーンで3Dの動きを知ることは、多くの視覚応用にとって不可欠である。
多視点設定における全ての点の運動を推定するために神経運動場を利用する。
予測可能な動きを正規化することを提案する。
論文 参考訳(メタデータ) (2022-09-21T22:32:37Z) - Temporal View Synthesis of Dynamic Scenes through 3D Object Motion
Estimation with Multi-Plane Images [8.185918509343816]
本稿では,ビデオの次のフレームを予測することを目的として,時間的視点合成(TVS)の問題について検討する。
本研究では,ユーザとオブジェクトの両方が動いている動的シーンのTVSについて考察する。
過去のフレームにおける3次元物体の動きを分離・推定し,その外挿により物体の動きを予測する。
論文 参考訳(メタデータ) (2022-08-19T17:40:13Z) - MoCo-Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary
Monocular Cameras [98.40768911788854]
4次元連続時間変動関数を用いて動的シーンをモデル化する表現であるMoCo-Flowを紹介する。
私たちの研究の中心には、運動フロー上の運動コンセンサス正規化によって制約される、新しい最適化の定式化がある。
複雑度の異なる人間の動きを含む複数のデータセット上でMoCo-Flowを広範囲に評価した。
論文 参考訳(メタデータ) (2021-06-08T16:03:50Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-01-11T04:20:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。