論文の概要: {\phi}-SfT: Shape-from-Template with a Physics-Based Deformation Model
- arxiv url: http://arxiv.org/abs/2203.11938v1
- Date: Tue, 22 Mar 2022 17:59:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-23 15:17:45.654187
- Title: {\phi}-SfT: Shape-from-Template with a Physics-Based Deformation Model
- Title(参考訳): 物理学に基づく変形モデルを用いた形状からテンプレートへ
- Authors: Navami Kairanda and Edith Tretschk and Mohamed Elgharib and Christian
Theobalt and Vladislav Golyanik
- Abstract要約: Shape-from-Template (SfT) 法では、単一の単眼RGBカメラから3次元表面の変形を推定する。
本稿では,物理シミュレーションによる2次元観察を解説する新しいSfT手法を提案する。
- 参考スコア(独自算出の注目度): 69.27632025495512
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Shape-from-Template (SfT) methods estimate 3D surface deformations from a
single monocular RGB camera while assuming a 3D state known in advance (a
template). This is an important yet challenging problem due to the
under-constrained nature of the monocular setting. Existing SfT techniques
predominantly use geometric and simplified deformation models, which often
limits their reconstruction abilities. In contrast to previous works, this
paper proposes a new SfT approach explaining 2D observations through physical
simulations accounting for forces and material properties. Our differentiable
physics simulator regularises the surface evolution and optimises the material
elastic properties such as bending coefficients, stretching stiffness and
density. We use a differentiable renderer to minimise the dense reprojection
error between the estimated 3D states and the input images and recover the
deformation parameters using an adaptive gradient-based optimisation. For the
evaluation, we record with an RGB-D camera challenging real surfaces exposed to
physical forces with various material properties and textures. Our approach
significantly reduces the 3D reconstruction error compared to multiple
competing methods. For the source code and data, see
https://4dqv.mpi-inf.mpg.de/phi-SfT/.
- Abstract(参考訳): Shape-from-Template (SfT) 法では、事前に知られている3D状態(テンプレート)を仮定しながら、単一の単眼RGBカメラから3次元表面の変形を推定する。
これは単眼的設定の制約が低く、かつ困難な問題である。
既存のSfT技術は主に幾何学的および単純化された変形モデルを使用し、しばしば再構成能力を制限する。
従来の研究とは対照的に,力と材料特性を考慮した物理シミュレーションによる2次元観察を記述した新しいSfT手法を提案する。
微分可能な物理シミュレータは表面進化を定式化し,曲げ係数,伸び剛性,密度などの弾性特性を最適化する。
微分可能レンダラを用いて,推定した3d状態と入力画像との密な再投影誤差を最小化し,適応勾配に基づく最適化を用いて変形パラメータを復元する。
評価のために,RGB-Dカメラを用いて,様々な材料特性とテクスチャを持つ物理的力に曝露した実際の表面を撮影する。
提案手法は,複数の競合手法と比較して3次元復元誤差を大幅に低減する。
ソースコードとデータはhttps://4dqv.mpi-inf.mpg.de/phi-sft/を参照。
関連論文リスト
- Physics-guided Shape-from-Template: Monocular Video Perception through
Neural Surrogate Models [4.948516314472825]
トレーニング済みニューラルネットワークを用いた布のSfT再構成アルゴリズムを提案する。
シミュレーションメッシュの異なるレンダリングにより、再構成と対象のビデオシーケンスの画素ワイズ比較が可能になる。
これにより、$phi$-SfTに比べて400-500の係数でランタイムを削減しつつ、正確で安定した、スムーズな再構築された幾何を維持することができる。
論文 参考訳(メタデータ) (2023-11-21T18:59:58Z) - Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。
動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。
本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文 参考訳(メタデータ) (2023-09-28T17:59:51Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳(メタデータ) (2023-08-10T17:55:02Z) - 3D shape reconstruction of semi-transparent worms [0.950214811819847]
3D形状の再構成は通常、被写体の複数の画像に物体の特徴やテクスチャを特定する必要がある。
ここでは、画像と比較するために、適応的ぼかしと透明度で候補形状を描画することで、これらの課題を克服する。
本研究は,線虫類の細いカエノルハブディティ・エレガンスを,生物学的にインフォームドされた制約や規則化を自然に許容する内在的パラメトリションを用いて3次元曲線としてモデル化する。
論文 参考訳(メタデータ) (2023-04-28T13:29:36Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [62.92182845878669]
カジュアルビデオから変形可能な3Dオブジェクトをモデリングする際の課題に焦点をあてる。
最近の研究は、標準-観測変換を達成するために線形ブレンドスキン(LBS)に依存している。
ニューラル双対四元混合スキン(NeuDBS)を用いて3次元点変形を実現する。
論文 参考訳(メタデータ) (2023-04-17T13:49:04Z) - Multi-Person 3D Pose and Shape Estimation via Inverse Kinematics and
Refinement [5.655207244072081]
モノクロRGB画像からメッシュ形状の3Dポーズと形状を推定することは困難である。
そこで本研究では, 1) 閉塞・腐食3次元骨格推定による逆運動学の利点を生かした粗粒間パイプラインを提案する。
本研究では,3DPW, MuPoTS, AGORAデータセット上での最先端の手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-10-24T18:29:06Z) - NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。
実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
論文 参考訳(メタデータ) (2022-10-22T04:57:55Z) - Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape
Laplacian [58.704089101826774]
形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。
点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。
実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
論文 参考訳(メタデータ) (2022-03-29T04:57:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。