論文の概要: MD-Splatting: Learning Metric Deformation from 4D Gaussians in Highly
Deformable Scenes
- arxiv url: http://arxiv.org/abs/2312.00583v1
- Date: Thu, 30 Nov 2023 18:53:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 14:31:28.834745
- Title: MD-Splatting: Learning Metric Deformation from 4D Gaussians in Highly
Deformable Scenes
- Title(参考訳): MD-Splatting:高度に変形可能なシーンにおける4次元ガウスからの計量変形の学習
- Authors: Bardienus P. Duisterhof, Zhao Mandi, Yunchao Yao, Jia-Wei Liu, Mike
Zheng Shou, Shuran Song, Jeffrey Ichnowski
- Abstract要約: MD-Splatting(MD-Splatting)は3次元トラッキングと新しいビュー合成を同時に行う手法である。
MD-スプレイティング(MD-Splatting)は、非計量的、従って正準的な性質を持つガウスの集合を計量空間に射影する変形関数を学習する。
最先端技術と比較して平均23.9%の3Dトラッキングを向上し,同時に高品質なノベルビュー合成を実現した。
- 参考スコア(独自算出の注目度): 37.21392210514045
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Accurate 3D tracking in highly deformable scenes with occlusions and shadows
can facilitate new applications in robotics, augmented reality, and generative
AI. However, tracking under these conditions is extremely challenging due to
the ambiguity that arises with large deformations, shadows, and occlusions. We
introduce MD-Splatting, an approach for simultaneous 3D tracking and novel view
synthesis, using video captures of a dynamic scene from various camera poses.
MD-Splatting builds on recent advances in Gaussian splatting, a method that
learns the properties of a large number of Gaussians for state-of-the-art and
fast novel view synthesis. MD-Splatting learns a deformation function to
project a set of Gaussians with non-metric, thus canonical, properties into
metric space. The deformation function uses a neural-voxel encoding and a
multilayer perceptron (MLP) to infer Gaussian position, rotation, and a shadow
scalar. We enforce physics-inspired regularization terms based on local
rigidity, conservation of momentum, and isometry, which leads to trajectories
with smaller trajectory errors. MD-Splatting achieves high-quality 3D tracking
on highly deformable scenes with shadows and occlusions. Compared to
state-of-the-art, we improve 3D tracking by an average of 23.9 %, while
simultaneously achieving high-quality novel view synthesis. With sufficient
texture such as in scene 6, MD-Splatting achieves a median tracking error of
3.39 mm on a cloth of 1 x 1 meters in size. Project website:
https://md-splatting.github.io/.
- Abstract(参考訳): 隠蔽と影を持つ高度に変形可能なシーンにおける正確な3Dトラッキングは、ロボット工学、拡張現実、および生成AIにおける新しい応用を促進することができる。
しかし,このような状況下での追跡は,大きな変形や影,閉塞を伴うあいまいさのため,極めて困難である。
様々なカメラポーズからの動的シーンの映像キャプチャを用いて、3次元トラッキングと新しいビュー合成を同時に行う手法であるmd-splattingを提案する。
MD-Splattingは、最先端で高速な新奇なビュー合成のために多数のガウス人の特性を学習する手法であるガウススプラッティングの最近の進歩に基づいている。
md-splattingは変形関数を学習し、計量空間に非計量的、従って標準的性質を持つガウス群を投影する。
変形関数は、ガウスの位置、回転、シャドウスカラーを推測するために、ニューラルボクセル符号化と多層パーセプトロン(MLP)を用いる。
我々は,局所剛性,運動量保存,等方性に基づく物理に触発された正規化条件を施行し,軌道誤差の小さい軌道に導く。
MD-Splattingは、シャドーとオクルージョンを持つ高度に変形可能なシーンで高品質な3Dトラッキングを実現する。
最新技術と比較して、3dトラッキングを平均23.9 %改善し、同時に高品質のノベルビュー合成を実現する。
シーン6のような十分なテクスチャで、MD-Splattingは1×1メートルの布の上で3.39mmの中央値追跡誤差を達成する。
プロジェクトwebサイト: https://md-splatting.github.io/
関連論文リスト
- Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting [9.90835990611019]
3D Gaussian Splatting (3DGS)は、高速で高品質な新規ビュー合成を提供する。
正準3DGSを複数のフレームに変形させる自然な拡張である。
それまでの作品は、ダイナミックなシーンを正確に再構築することができなかった。
論文 参考訳(メタデータ) (2024-04-04T17:34:41Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳(メタデータ) (2024-04-01T04:57:41Z) - InstantSplat: Unbounded Sparse-view Pose-free Gaussian Splatting in 40 Seconds [91.77050739918037]
新しいビュー合成 (NVS) には、高密度視点からカメラ内在と外在を初期推定する必要がある。
本研究では,NVSにおける複雑だが未解決な問題に,制約のない設定で対処するために,ポイントベース表現の強みをエンド・ツー・エンドの高密度ステレオモデルと統合する。
我々のフレームワークであるInstantSplatは、3D-GSと密集したステレオを統一し、スパースビューとポーズフリーの画像から大規模シーンの3Dガウスアンを1分以内で作る。
論文 参考訳(メタデータ) (2024-03-29T17:29:58Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳(メタデータ) (2024-03-26T17:21:24Z) - HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。
我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。
提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
論文 参考訳(メタデータ) (2024-03-19T13:39:05Z) - Recent Advances in 3D Gaussian Splatting [31.3820273122585]
3次元ガウススプラッティングは、新規なビュー合成のレンダリング速度を大幅に高速化した。
3D Gaussian Splattingの明示的な表現は、動的再構成、幾何学的編集、物理シミュレーションなどの編集作業を容易にする。
本稿では,3次元再構成,3次元編集,その他の下流アプリケーションに大まかに分類できる最近の3次元ガウス散乱法について,文献的考察を行う。
論文 参考訳(メタデータ) (2024-03-17T07:57:08Z) - Compact 3D Scene Representation via Self-Organizing Gaussian Grids [10.816451552362823]
3D Gaussian Splattingは、静的な3Dシーンをモデリングするための非常に有望なテクニックとして最近登場した。
本稿では3DGSのパラメータを局所的均一性を持つ2次元グリッドに整理したコンパクトなシーン表現を提案する。
本手法は,訓練時間の増加を伴わない複雑なシーンに対して,17倍から42倍の縮小係数を実現する。
論文 参考訳(メタデータ) (2023-12-19T20:18:29Z) - PonderV2: Pave the Way for 3D Foundation Model with A Universal
Pre-training Paradigm [114.47216525866435]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。
PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文 参考訳(メタデータ) (2023-10-12T17:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。