論文の概要: {\phi}-SfT: Shape-from-Template with a Physics-Based Deformation Model

• arxiv url: http://arxiv.org/abs/2203.11938v1
• Date: Tue, 22 Mar 2022 17:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-23 15:17:45.654187
• Title: {\phi}-SfT: Shape-from-Template with a Physics-Based Deformation Model
• Title（参考訳）: 物理学に基づく変形モデルを用いた形状からテンプレートへ
• Authors: Navami Kairanda and Edith Tretschk and Mohamed Elgharib and Christian Theobalt and Vladislav Golyanik
• Abstract要約: Shape-from-Template (SfT) 法では、単一の単眼RGBカメラから3次元表面の変形を推定する。 本稿では,物理シミュレーションによる2次元観察を解説する新しいSfT手法を提案する。
• 参考スコア（独自算出の注目度）: 69.27632025495512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Shape-from-Template (SfT) methods estimate 3D surface deformations from a single monocular RGB camera while assuming a 3D state known in advance (a template). This is an important yet challenging problem due to the under-constrained nature of the monocular setting. Existing SfT techniques predominantly use geometric and simplified deformation models, which often limits their reconstruction abilities. In contrast to previous works, this paper proposes a new SfT approach explaining 2D observations through physical simulations accounting for forces and material properties. Our differentiable physics simulator regularises the surface evolution and optimises the material elastic properties such as bending coefficients, stretching stiffness and density. We use a differentiable renderer to minimise the dense reprojection error between the estimated 3D states and the input images and recover the deformation parameters using an adaptive gradient-based optimisation. For the evaluation, we record with an RGB-D camera challenging real surfaces exposed to physical forces with various material properties and textures. Our approach significantly reduces the 3D reconstruction error compared to multiple competing methods. For the source code and data, see https://4dqv.mpi-inf.mpg.de/phi-SfT/.
• Abstract（参考訳）: Shape-from-Template (SfT) 法では、事前に知られている3D状態(テンプレート)を仮定しながら、単一の単眼RGBカメラから3次元表面の変形を推定する。 これは単眼的設定の制約が低く、かつ困難な問題である。 既存のSfT技術は主に幾何学的および単純化された変形モデルを使用し、しばしば再構成能力を制限する。 従来の研究とは対照的に,力と材料特性を考慮した物理シミュレーションによる2次元観察を記述した新しいSfT手法を提案する。 微分可能な物理シミュレータは表面進化を定式化し,曲げ係数,伸び剛性,密度などの弾性特性を最適化する。 微分可能レンダラを用いて,推定した3d状態と入力画像との密な再投影誤差を最小化し,適応勾配に基づく最適化を用いて変形パラメータを復元する。 評価のために,RGB-Dカメラを用いて,様々な材料特性とテクスチャを持つ物理的力に曝露した実際の表面を撮影する。 提案手法は,複数の競合手法と比較して3次元復元誤差を大幅に低減する。 ソースコードとデータはhttps://4dqv.mpi-inf.mpg.de/phi-sft/を参照。

関連論文リスト

• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• GASP: Gaussian Splatting for Physic-Based Simulations [0.42881773214459123]
  既存の物理モデルでは、三角形や四面体メッシュ、マーチングキューブ、ケージメッシュなどのメッシュ機構が追加されている。 我々は3次元ガウス成分と整合するように、基底のニュートン力学を修正した。 結果の解は、ブラックボックスとして扱われるあらゆる物理エンジンに統合できる。
  論文  参考訳（メタデータ） (2024-09-09T17:28:57Z)
• PhyRecon: Physically Plausible Neural Scene Reconstruction [81.73129450090684]
  PHYRECONは、微分可能なレンダリングと微分可能な物理シミュレーションの両方を利用して暗黙的な表面表現を学習する最初のアプローチである。 この設計の中心は、SDFに基づく暗黙の表現と明示的な表面点の間の効率的な変換である。 また,物理シミュレータの安定性も向上し,全データセットに対して少なくとも40%の改善が得られた。
  論文  参考訳（メタデータ） (2024-04-25T15:06:58Z)
• Physics-guided Shape-from-Template: Monocular Video Perception through Neural Surrogate Models [4.529832252085145]
  トレーニング済みニューラルネットワークを用いた布のSfT再構成アルゴリズムを提案する。 シミュレーションメッシュの異なるレンダリングにより、再構成と対象のビデオシーケンスの画素ワイズ比較が可能になる。 これにより、$phi$-SfTに比べて400-500の係数でランタイムを削減しつつ、正確で安定した、スムーズな再構築された幾何を維持することができる。
  論文  参考訳（メタデータ） (2023-11-21T18:59:58Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• 3D shape reconstruction of semi-transparent worms [0.950214811819847]
  3D形状の再構成は通常、被写体の複数の画像に物体の特徴やテクスチャを特定する必要がある。 ここでは、画像と比較するために、適応的ぼかしと透明度で候補形状を描画することで、これらの課題を克服する。 本研究は,線虫類の細いカエノルハブディティ・エレガンスを,生物学的にインフォームドされた制約や規則化を自然に許容する内在的パラメトリションを用いて3次元曲線としてモデル化する。
  論文  参考訳（メタデータ） (2023-04-28T13:29:36Z)
• MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
  神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。 異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。 本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
  論文  参考訳（メタデータ） (2023-04-17T13:49:04Z)
• Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape Laplacian [58.704089101826774]
  形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。 点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。 実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
  論文  参考訳（メタデータ） (2022-03-29T04:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。