論文の概要: Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2404.03613v1
- Date: Thu, 4 Apr 2024 17:34:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 14:02:35.682575
- Title: Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting
- Title(参考訳): 変形可能な3次元ガウス平滑化のためのガウス内包型変形
- Authors: Jeongmin Bae, Seoha Kim, Youngsik Yun, Hahyun Lee, Gun Bang, Youngjung Uh,
- Abstract要約: 3D Gaussian Splatting (3DGS)は、高速で高品質な新規ビュー合成を提供する。
正準3DGSを複数のフレームに変形させる自然な拡張である。
それまでの作品は、ダイナミックなシーンを正確に再構築することができなかった。
- 参考スコア(独自算出の注目度): 9.90835990611019
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: As 3D Gaussian Splatting (3DGS) provides fast and high-quality novel view synthesis, it is a natural extension to deform a canonical 3DGS to multiple frames. However, previous works fail to accurately reconstruct dynamic scenes, especially 1) static parts moving along nearby dynamic parts, and 2) some dynamic areas are blurry. We attribute the failure to the wrong design of the deformation field, which is built as a coordinate-based function. This approach is problematic because 3DGS is a mixture of multiple fields centered at the Gaussians, not just a single coordinate-based framework. To resolve this problem, we define the deformation as a function of per-Gaussian embeddings and temporal embeddings. Moreover, we decompose deformations as coarse and fine deformations to model slow and fast movements, respectively. Also, we introduce an efficient training strategy for faster convergence and higher quality. Project page: https://jeongminb.github.io/e-d3dgs/
- Abstract(参考訳): 3D Gaussian Splatting (3DGS) は高速かつ高品質なノベルビュー合成を提供するため、カノニカルな3DGSを複数のフレームに変形させる自然な拡張である。
しかし、それまでの作品は、特にダイナミックなシーンを正確に再構築することができなかった。
1)近くの動的部分に沿って動く静的部分、及び
2) いくつかの動的領域はぼやけている。
本稿では, 座標関数として構築された変形場の誤った設計を原因とする。
3DGSは1つの座標ベースのフレームワークではなく、ガウシアンを中心とする複数のフィールドの混合であるため、このアプローチは問題となる。
この問題を解決するために、変形をガウス毎の埋め込みと時間的埋め込みの関数として定義する。
さらに, 変形を粗く, 微細な変形として分解し, 遅い動きと速い動きをモデル化する。
また,より高速な収束と高品質な学習戦略も導入する。
プロジェクトページ: https://jeongminb.github.io/e-d3dgs/
関連論文リスト
- 3D Geometry-aware Deformable Gaussian Splatting for Dynamic View Synthesis [49.352765055181436]
動的ビュー合成のための3次元幾何学的変形可能なガウススメッティング法を提案する。
提案手法は,動的ビュー合成と3次元動的再構成を改良した3次元形状認識変形モデリングを実現する。
論文 参考訳(メタデータ) (2024-04-09T12:47:30Z) - InstantSplat: Unbounded Sparse-view Pose-free Gaussian Splatting in 40 Seconds [91.77050739918037]
新しいビュー合成 (NVS) には、高密度視点からカメラ内在と外在を初期推定する必要がある。
本研究では,NVSにおける複雑だが未解決な問題に,制約のない設定で対処するために,ポイントベース表現の強みをエンド・ツー・エンドの高密度ステレオモデルと統合する。
我々のフレームワークであるInstantSplatは、3D-GSと密集したステレオを統一し、スパースビューとポーズフリーの画像から大規模シーンの3Dガウスアンを1分以内で作る。
論文 参考訳(メタデータ) (2024-03-29T17:29:58Z) - CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
2次元画像空間で制御できる構造付きガウス表現を導入する。
次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。
我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
論文 参考訳(メタデータ) (2024-03-28T15:27:13Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳(メタデータ) (2024-03-18T04:01:26Z) - Relaxing Accurate Initialization Constraint for 3D Gaussian Splatting [29.58220473268378]
3次元ガウス切削における正確な初期化制約の緩和)と呼ばれる新しい最適化手法を提案する。
複数のデータセットに対する定量的および定性的な比較による戦略の有効性を示し、全ての設定における性能を大幅に改善した。
論文 参考訳(メタデータ) (2024-03-14T14:04:21Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳(メタデータ) (2024-02-22T16:00:20Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳(メタデータ) (2024-02-07T12:36:54Z) - Compact 3D Scene Representation via Self-Organizing Gaussian Grids [10.816451552362823]
3D Gaussian Splattingは、静的な3Dシーンをモデリングするための非常に有望なテクニックとして最近登場した。
本稿では3DGSのパラメータを局所的均一性を持つ2次元グリッドに整理したコンパクトなシーン表現を提案する。
本手法は,訓練時間の増加を伴わない複雑なシーンに対して,17倍から42倍の縮小係数を実現する。
論文 参考訳(メタデータ) (2023-12-19T20:18:29Z) - SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。
本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。
提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
論文 参考訳(メタデータ) (2023-12-04T11:57:14Z) - MD-Splatting: Learning Metric Deformation from 4D Gaussians in Highly
Deformable Scenes [37.21392210514045]
MD-Splatting(MD-Splatting)は3次元トラッキングと新しいビュー合成を同時に行う手法である。
MD-スプレイティング(MD-Splatting)は、非計量的、従って正準的な性質を持つガウスの集合を計量空間に射影する変形関数を学習する。
最先端技術と比較して平均23.9%の3Dトラッキングを向上し,同時に高品質なノベルビュー合成を実現した。
論文 参考訳(メタデータ) (2023-11-30T18:53:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。