論文の概要: Reconstructing and Simulating Dynamic 3D Objects with Mesh-adsorbed Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2406.01593v1
• Date: Mon, 3 Jun 2024 17:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 21:41:25.358924
• Title: Reconstructing and Simulating Dynamic 3D Objects with Mesh-adsorbed Gaussian Splatting
• Title（参考訳）: メッシュ吸着ガウス平滑化による動的3次元物体の再構成とシミュレーション
• Authors: Shaojie Ma, Yawei Luo, Yi Yang,
• Abstract要約: 本稿では,このようなジレンマを解決するために,メッシュ吸着型ガウス平滑化法(MaGS)を提案する。 MaGSは3Dガウスをメッシュ表面にホバリングすることを制約し、相互に吸着したメッシュ-ガウスの3D表現を生成する。 メッシュ、3Dガウス、RDFを共同最適化することで、MaGSは高いレンダリング精度とリアルな変形を実現する。
• 参考スコア（独自算出の注目度）: 26.382349137191547
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D reconstruction and simulation, while interrelated, have distinct objectives: reconstruction demands a flexible 3D representation adaptable to diverse scenes, whereas simulation requires a structured representation to model motion principles effectively. This paper introduces the Mesh-adsorbed Gaussian Splatting (MaGS) method to resolve such a dilemma. MaGS constrains 3D Gaussians to hover on the mesh surface, creating a mutual-adsorbed mesh-Gaussian 3D representation that combines the rendering flexibility of 3D Gaussians with the spatial coherence of meshes. Leveraging this representation, we introduce a learnable Relative Deformation Field (RDF) to model the relative displacement between the mesh and 3D Gaussians, extending traditional mesh-driven deformation paradigms that only rely on ARAP prior, thus capturing the motion of each 3D Gaussian more precisely. By joint optimizing meshes, 3D Gaussians, and RDF, MaGS achieves both high rendering accuracy and realistic deformation. Extensive experiments on the D-NeRF and NeRF-DS datasets demonstrate that MaGS can generate competitive results in both reconstruction and simulation.
• Abstract（参考訳）: 再現は多様なシーンに適応可能な柔軟な3D表現を要求するのに対し、シミュレーションは動きの原理を効果的にモデル化するために構造化された表現を必要とする。 本稿では,このようなジレンマを解決するために,メッシュ吸着型ガウス平滑化法(MaGS)を提案する。 MaGSは3Dガウスのメッシュ表面へのホバリングを制約し、3Dガウスのレンダリング柔軟性とメッシュの空間コヒーレンスを組み合わせた相互吸着メッシュ-ガウスの3D表現を生成する。 この表現を活用することで、メッシュと3Dガウス間の相対変位をモデル化する学習可能な相対変形場(RDF)を導入し、ARAPのみに依存する従来のメッシュ駆動変形パラダイムを拡張して、各3Dガウスの運動をより正確に捉える。 メッシュ、3Dガウス、RDFを共同最適化することで、MaGSは高いレンダリング精度とリアルな変形を実現する。 D-NeRFデータセットとNeRF-DSデータセットの大規模な実験は、MaGSが再構成とシミュレーションの両方で競合する結果を生成できることを実証している。

関連論文リスト

• DreamMesh4D: Video-to-4D Generation with Sparse-Controlled Gaussian-Mesh Hybrid Representation [10.250715657201363]
  本稿では,メッシュ表現と幾何スキン技術を組み合わせた新しいフレームワークDreamMesh4Dを紹介し,モノクロビデオから高品質な4Dオブジェクトを生成する。 我々の手法は現代のグラフィックパイプラインと互換性があり、3Dゲームや映画産業におけるその可能性を示している。
  論文  参考訳（メタデータ） (2024-10-09T10:41:08Z)
• GIC: Gaussian-Informed Continuum for Physical Property Identification and Simulation [60.33467489955188]
  本稿では,視覚的観察を通して物理特性(システム同定)を推定する問題について検討する。 物理特性推定における幾何学的ガイダンスを容易にするために,我々は新しいハイブリッドフレームワークを提案する。 本研究では,3次元ガウス点集合としてオブジェクトを復元する動き分解に基づく動的3次元ガウスフレームワークを提案する。 抽出された物体表面に加えて、ガウスインフォームド連続体はシミュレーション中の物体マスクのレンダリングを可能にする。
  論文  参考訳（メタデータ） (2024-06-21T07:37:17Z)
• MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
  本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。 オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。 実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
  論文  参考訳（メタデータ） (2024-06-10T15:26:48Z)
• MeshXL: Neural Coordinate Field for Generative 3D Foundation Models [51.1972329762843]
  本稿では,現代の大規模言語モデルを用いた3次元メッシュ生成のプロセスに対処する,事前学習型自己回帰モデルの生成ファミリを提案する。 MeshXLは高品質な3Dメッシュを生成することができ、さまざまなダウンストリームアプリケーションの基盤モデルとしても機能する。
  論文  参考訳（メタデータ） (2024-05-31T14:35:35Z)
• Dynamic Gaussians Mesh: Consistent Mesh Reconstruction from Monocular Videos [27.531394287148384]
  DG-Mesh(Dynamic Gaussians Mesh)は、単一のモノクロビデオから高忠実で時間に一貫性のあるメッシュを再構築するフレームワークである。 我々の研究は、最近の3Dガウススプラッティングの進歩を活用して、ビデオから時間的一貫性のあるメッシュシーケンスを構築する。 メッシュガイドによる密度化と変形したガウスへのプルーニングによるメッシュ再構築を実現するため,均等に分散したガウスアンを奨励するガウス・メシュアンチョリングを導入する。
  論文  参考訳（メタデータ） (2024-04-18T17:58:16Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
  この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。 本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。 本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
  論文  参考訳（メタデータ） (2021-12-14T13:14:24Z)
• Neural Mesh Flow: 3D Manifold Mesh Generation via Diffeomorphic Flows [79.39092757515395]
  ニューラルメッシュフロー (NMF) を用いて, 種数0の2次元メッシュを生成する。 NMFは数個のニューラル正規微分方程式(NODE)ブロックからなる形状自動エンコーダで、球面メッシュを段階的に変形させることで正確なメッシュ形状を学習する。 実験の結果,NMFは単一視点メッシュ再構成,大域的な形状パラメータ化,テクスチャマッピング,形状変形,対応性など,いくつかの応用に役立つことがわかった。
  論文  参考訳（メタデータ） (2020-07-21T17:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。