論文の概要: Thin-Shell-SfT: Fine-Grained Monocular Non-rigid 3D Surface Tracking with Neural Deformation Fields

• arxiv url: http://arxiv.org/abs/2503.19976v1
• Date: Tue, 25 Mar 2025 18:00:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:21:17.722028
• Title: Thin-Shell-SfT: Fine-Grained Monocular Non-rigid 3D Surface Tracking with Neural Deformation Fields
• Title（参考訳）: ニューラル変形場を有する細粒単分子非剛性3次元表面追跡
• Authors: Navami Kairanda, Marc Habermann, Shanthika Naik, Christian Theobalt, Vladislav Golyanik,
• Abstract要約: RGBビデオから変形可能な表面を3Dで再現することは難しい問題だ。 既存の方法は、統計的、神経的、物理的に先行する変形モデルを使用する。 我々は,非剛性3次元トラッキングメッシュの新しい手法であるThinShell-SfTを提案する。
• 参考スコア（独自算出の注目度）: 66.1612475655465
• License:
• Abstract: 3D reconstruction of highly deformable surfaces (e.g. cloths) from monocular RGB videos is a challenging problem, and no solution provides a consistent and accurate recovery of fine-grained surface details. To account for the ill-posed nature of the setting, existing methods use deformation models with statistical, neural, or physical priors. They also predominantly rely on nonadaptive discrete surface representations (e.g. polygonal meshes), perform frame-by-frame optimisation leading to error propagation, and suffer from poor gradients of the mesh-based differentiable renderers. Consequently, fine surface details such as cloth wrinkles are often not recovered with the desired accuracy. In response to these limitations, we propose ThinShell-SfT, a new method for non-rigid 3D tracking that represents a surface as an implicit and continuous spatiotemporal neural field. We incorporate continuous thin shell physics prior based on the Kirchhoff-Love model for spatial regularisation, which starkly contrasts the discretised alternatives of earlier works. Lastly, we leverage 3D Gaussian splatting to differentiably render the surface into image space and optimise the deformations based on analysis-bysynthesis principles. Our Thin-Shell-SfT outperforms prior works qualitatively and quantitatively thanks to our continuous surface formulation in conjunction with a specially tailored simulation prior and surface-induced 3D Gaussians. See our project page at https://4dqv.mpiinf.mpg.de/ThinShellSfT.
• Abstract（参考訳）: モノクラーRGBビデオから高変形性表面(例えば布)を3次元再構成することは難しい問題であり、きめ細かい表面の詳細を一貫した精度で再現するソリューションは存在しない。 設定の誤った性質を説明するため、既存の手法では統計的、神経的、物理的に先行した変形モデルを使用している。 また、主に非適応的な離散曲面表現(例えばポリゴンメッシュ)に依存し、フレーム・バイ・フレームの最適化によってエラーの伝播が起こり、メッシュベースの微分可能なレンダラーの勾配が低下する。 そのため、所望の精度で布のしわなどの細かな表面の細部を回収しないことが多い。 これらの制約に応えて、表面を暗黙的かつ連続的な時空間神経場として表現する非剛性3次元追跡法であるThinShell-SfTを提案する。 空間正則化のためのKirchhoff-Loveモデルに基づく連続薄膜物理を前もって組み込んだ。 最後に,3次元ガウススプラッティングを利用して表面を画像空間に微分レンダリングし,解析バイシンセシス原理に基づいて変形を最適化する。 我々のThin-Shell-SfTは、特殊に調整されたシミュレーションと表面誘起の3Dガウスとを併用した連続表面定式化により、事前の作業が質的に、定量的に向上する。 プロジェクトページはhttps://4dqv.mpiinf.mpg.de/ThinShellSfTを参照してください。

関連論文リスト

• DreamMesh4D: Video-to-4D Generation with Sparse-Controlled Gaussian-Mesh Hybrid Representation [10.250715657201363]
  本稿では,メッシュ表現と幾何スキン技術を組み合わせた新しいフレームワークDreamMesh4Dを紹介し,モノクロビデオから高品質な4Dオブジェクトを生成する。 我々の手法は現代のグラフィックパイプラインと互換性があり、3Dゲームや映画産業におけるその可能性を示している。
  論文  参考訳（メタデータ） (2024-10-09T10:41:08Z)
• ND-SDF: Learning Normal Deflection Fields for High-Fidelity Indoor Reconstruction [50.07671826433922]
  微妙な幾何を同時に復元し、異なる特徴を持つ領域をまたいだ滑らかさを保つことは自明ではない。 そこで我々は,ND-SDFを提案する。ND-SDFは,通常のシーンとそれ以前のシーンの角偏差を表す正規偏向場を学習する。 本手法は, 壁面や床面などのスムーズなテクスチャ構造を得るだけでなく, 複雑な構造の幾何学的詳細も保存する。
  論文  参考訳（メタデータ） (2024-08-22T17:59:01Z)
• Flatten Anything: Unsupervised Neural Surface Parameterization [76.4422287292541]
  本研究では,FAM(Flatten Anything Model)を導入し,グローバルな自由境界面パラメータ化を実現する。 従来の手法と比較して,FAMは接続情報を活用することなく,個別の面上で直接動作する。 当社のFAMは前処理を必要とせずに完全に自動化されており,高度に複雑なトポロジを扱うことができる。
  論文  参考訳（メタデータ） (2024-05-23T14:39:52Z)
• Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting Guidance [48.72360034876566]
  本稿では,3次元ガウススプラッティングから高精細な表面を復元する神経暗黙的表面再構成パイプラインを提案する。 3Dガウススプラッティングの利点は、詳細な構造を持つ高密度の点雲を生成することができることである。 我々は3次元ガウスを極端に薄くすることで、表面に近い中心を引っ張るスケール正則化器を導入する。
  論文  参考訳（メタデータ） (2023-12-01T07:04:47Z)
• DynamicSurf: Dynamic Neural RGB-D Surface Reconstruction with an Optimizable Feature Grid [7.702806654565181]
  DynamicSurfは、モノクロRGB-Dビデオから非剛体表面の高忠実度3Dモデリングのためのモデルのない暗黙表面再構成手法である。 我々は、表面幾何学の正準表現を現在のフレームにマッピングする神経変形場を学習する。 我々は、純粋ベースアプローチよりも6ドルのスピードアップで、様々なフレームのシーケンスを最適化できることを実証した。
  論文  参考訳（メタデータ） (2023-11-14T13:39:01Z)
• NSF: Neural Surface Fields for Human Modeling from Monocular Depth [46.928496022657185]
  スパースデータから動的できめ細かな衣服の変形をモデル化することは困難である。 深度データから3次元人間をモデル化するための既存の手法は、計算効率、メッシュコヒーレンシー、解像度とトポロジーの柔軟性に制限がある。 本研究では, 単眼深度から3次元布地をモデル化するニューラル表面場を提案する。
  論文  参考訳（メタデータ） (2023-08-28T19:08:17Z)
• Neural Volumetric Mesh Generator [40.224769507878904]
  新規かつ高品質なボリュームメッシュを生成することができるニューラルボリュームメッシュジェネレータ(NVMG)を提案する。 我々のパイプラインは、ランダムノイズや参照画像から、後処理なしで高品質なアーチファクトフリーのボリュームとサーフェスメッシュを生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:46:51Z)
• {\phi}-SfT: Shape-from-Template with a Physics-Based Deformation Model [69.27632025495512]
  Shape-from-Template (SfT) 法では、単一の単眼RGBカメラから3次元表面の変形を推定する。 本稿では,物理シミュレーションによる2次元観察を解説する新しいSfT手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。