論文の概要: MaGS: Reconstructing and Simulating Dynamic 3D Objects with Mesh-adsorbed Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2406.01593v2
• Date: Fri, 22 Nov 2024 18:20:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:01:21.630022
• Title: MaGS: Reconstructing and Simulating Dynamic 3D Objects with Mesh-adsorbed Gaussian Splatting
• Title（参考訳）: MaGS:メッシュ吸着ガウス平滑化による動的3次元物体の再構成とシミュレーション
• Authors: Shaojie Ma, Yawei Luo, Wei Yang, Yi Yang,
• Abstract要約: 本稿では,この課題に対処するために,メッシュ吸着型ガウス平滑化法(MaGS)を提案する。 MaGSは、3Dガウス人がメッシュの近くで歩き回ることを制約し、相互に吸着されたメッシュ-ガウスの3D表現を生成する。 このような表現は、3Dガウスのレンダリングの柔軟性とメッシュの構造的特性の両方を利用する。
• 参考スコア（独自算出の注目度）: 27.081250446161114
• License:
• Abstract: 3D reconstruction and simulation, although interrelated, have distinct objectives: reconstruction requires a flexible 3D representation that can adapt to diverse scenes, while simulation needs a structured representation to model motion principles effectively. This paper introduces the Mesh-adsorbed Gaussian Splatting (MaGS) method to address this challenge. MaGS constrains 3D Gaussians to roam near the mesh, creating a mutually adsorbed mesh-Gaussian 3D representation. Such representation harnesses both the rendering flexibility of 3D Gaussians and the structured property of meshes. To achieve this, we introduce RMD-Net, a network that learns motion priors from video data to refine mesh deformations, alongside RGD-Net, which models the relative displacement between the mesh and Gaussians to enhance rendering fidelity under mesh constraints. To generalize to novel, user-defined deformations beyond input video without reliance on temporal data, we propose MPE-Net, which leverages inherent mesh information to bootstrap RMD-Net and RGD-Net. Due to the universality of meshes, MaGS is compatible with various deformation priors such as ARAP, SMPL, and soft physics simulation. Extensive experiments on the D-NeRF, DG-Mesh, and PeopleSnapshot datasets demonstrate that MaGS achieves state-of-the-art performance in both reconstruction and simulation.
• Abstract（参考訳）: 再現には多様なシーンに適応可能なフレキシブルな3D表現が必要ですが、シミュレーションには動きの原理を効果的にモデル化するための構造化された表現が必要です。 本稿では,この課題に対処するために,メッシュ吸着型ガウス平滑化法(MaGS)を提案する。 MaGSは、3Dガウス人がメッシュの近くで歩き回ることを制約し、相互に吸着されたメッシュ-ガウスの3D表現を生成する。 このような表現は、3Dガウスのレンダリングの柔軟性とメッシュの構造的特性の両方を利用する。 そこで本研究では,RGD-Netとともに,メッシュとガウスの間の相対変位をモデル化し,メッシュ制約下でのレンダリングの忠実度を向上させるために,ビデオデータから動きの先行を学習し,メッシュ変形を洗練するネットワークRMD-Netを紹介する。 そこで本稿では,RTD-Net と RGD-Net のブートストラップに固有のメッシュ情報を活用する MPE-Net を提案する。 メッシュの普遍性のため、MaGSはARAP、SMPL、ソフト物理シミュレーションなどの様々な変形先行と互換性がある。 D-NeRF、DG-Mesh、PeopleSnapshotデータセットの大規模な実験は、MaGSが再構築とシミュレーションの両方で最先端のパフォーマンスを達成することを示した。

関連論文リスト

• DreamMesh4D: Video-to-4D Generation with Sparse-Controlled Gaussian-Mesh Hybrid Representation [10.250715657201363]
  本稿では,メッシュ表現と幾何スキン技術を組み合わせた新しいフレームワークDreamMesh4Dを紹介し,モノクロビデオから高品質な4Dオブジェクトを生成する。 我々の手法は現代のグラフィックパイプラインと互換性があり、3Dゲームや映画産業におけるその可能性を示している。
  論文  参考訳（メタデータ） (2024-10-09T10:41:08Z)
• GIC: Gaussian-Informed Continuum for Physical Property Identification and Simulation [60.33467489955188]
  本稿では,視覚的観察を通して物理特性(システム同定)を推定する問題について検討する。 物理特性推定における幾何学的ガイダンスを容易にするために,我々は新しいハイブリッドフレームワークを提案する。 本研究では,3次元ガウス点集合としてオブジェクトを復元する動き分解に基づく動的3次元ガウスフレームワークを提案する。 抽出された物体表面に加えて、ガウスインフォームド連続体はシミュレーション中の物体マスクのレンダリングを可能にする。
  論文  参考訳（メタデータ） (2024-06-21T07:37:17Z)
• MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
  本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。 オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。 実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
  論文  参考訳（メタデータ） (2024-06-10T15:26:48Z)
• MeshXL: Neural Coordinate Field for Generative 3D Foundation Models [51.1972329762843]
  本稿では,現代の大規模言語モデルを用いた3次元メッシュ生成のプロセスに対処する,事前学習型自己回帰モデルの生成ファミリを提案する。 MeshXLは高品質な3Dメッシュを生成することができ、さまざまなダウンストリームアプリケーションの基盤モデルとしても機能する。
  論文  参考訳（メタデータ） (2024-05-31T14:35:35Z)
• Dynamic Gaussians Mesh: Consistent Mesh Reconstruction from Monocular Videos [27.531394287148384]
  DG-Mesh(Dynamic Gaussians Mesh)は、単一のモノクロビデオから高忠実で時間に一貫性のあるメッシュを再構築するフレームワークである。 我々の研究は、最近の3Dガウススプラッティングの進歩を活用して、ビデオから時間的一貫性のあるメッシュシーケンスを構築する。 メッシュガイドによる密度化と変形したガウスへのプルーニングによるメッシュ再構築を実現するため,均等に分散したガウスアンを奨励するガウス・メシュアンチョリングを導入する。
  論文  参考訳（メタデータ） (2024-04-18T17:58:16Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
  この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。 本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。 本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
  論文  参考訳（メタデータ） (2021-12-14T13:14:24Z)
• Neural Mesh Flow: 3D Manifold Mesh Generation via Diffeomorphic Flows [79.39092757515395]
  ニューラルメッシュフロー (NMF) を用いて, 種数0の2次元メッシュを生成する。 NMFは数個のニューラル正規微分方程式(NODE)ブロックからなる形状自動エンコーダで、球面メッシュを段階的に変形させることで正確なメッシュ形状を学習する。 実験の結果,NMFは単一視点メッシュ再構成,大域的な形状パラメータ化,テクスチャマッピング,形状変形,対応性など,いくつかの応用に役立つことがわかった。
  論文  参考訳（メタデータ） (2020-07-21T17:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。