論文の概要: Deep Physics-aware Inference of Cloth Deformation for Monocular Human Performance Capture

• arxiv url: http://arxiv.org/abs/2011.12866v2
• Date: Thu, 14 Oct 2021 13:41:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 03:14:41.993542
• Title: Deep Physics-aware Inference of Cloth Deformation for Monocular Human Performance Capture
• Title（参考訳）: 単眼の人体性能キャプチャにおける衣服変形の深部物理学的推定
• Authors: Yue Li, Marc Habermann, Bernhard Thomaszewski, Stelian Coros, Thabo Beeler, Christian Theobalt
• Abstract要約: 物理をトレーニングプロセスに統合することで、学習した布の変形が改善し、衣服を別の幾何学的要素としてモデル化できることを示す。 提案手法は現在の最先端手法よりも大幅に改善され,人間の衣服の変形面全体に対する現実的なモノクロキャプチャに向けた明確なステップとなる。
• 参考スコア（独自算出の注目度）: 84.73946704272113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent monocular human performance capture approaches have shown compelling dense tracking results of the full body from a single RGB camera. However, existing methods either do not estimate clothing at all or model cloth deformation with simple geometric priors instead of taking into account the underlying physical principles. This leads to noticeable artifacts in their reconstructions, e.g. baked-in wrinkles, implausible deformations that seemingly defy gravity, and intersections between cloth and body. To address these problems, we propose a person-specific, learning-based method that integrates a simulation layer into the training process to provide for the first time physics supervision in the context of weakly supervised deep monocular human performance capture. We show how integrating physics into the training process improves the learned cloth deformations, allows modeling clothing as a separate piece of geometry, and largely reduces cloth-body intersections. Relying only on weak 2D multi-view supervision during training, our approach leads to a significant improvement over current state-of-the-art methods and is thus a clear step towards realistic monocular capture of the entire deforming surface of a clothed human.
• Abstract（参考訳）: 近年の単眼での人間のパフォーマンスキャプチャー手法は、1台のRGBカメラによる全身の高密度な追跡結果を示している。 しかし、既存の手法では、基礎となる物理原理を考慮せず、衣服を全く見積もったり、単純な幾何学的事前で布の変形をモデル化したりしない。 これは、焼かれたしわ、重力を損なうように見える不明瞭な変形、布と体の間の交差など、その復元において顕著な成果をもたらす。 これらの問題に対処するために,シミュレーション層を学習プロセスに統合し,弱い教師付き単眼的人間パフォーマンスキャプチャの文脈において,初めて物理学的な監督を行う人固有の学習ベース手法を提案する。 物理をトレーニングプロセスに統合することで、学習した布の変形が改善され、衣服を幾何学の別個の部分としてモデル化することができ、布体交叉を大幅に減らすことを示す。 本研究は, トレーニング中の2次元多視点観察の弱さにのみ基づき, 現状の手法よりも大幅に改善され, 布地人の変形面全体をリアルに捉えるための明確な一歩となる。

関連論文リスト

• PhyRecon: Physically Plausible Neural Scene Reconstruction [81.73129450090684]
  PHYRECONは、微分可能なレンダリングと微分可能な物理シミュレーションの両方を利用して暗黙的な表面表現を学習する最初のアプローチである。 この設計の中心は、SDFに基づく暗黙の表現と明示的な表面点の間の効率的な変換である。 また,物理シミュレータの安定性も向上し,全データセットに対して少なくとも40%の改善が得られた。
  論文  参考訳（メタデータ） (2024-04-25T15:06:58Z)
• Within the Dynamic Context: Inertia-aware 3D Human Modeling with Pose Sequence [47.16903508897047]
  本研究では、現在のフレームのポーズ状態だけでなく、過去のポーズ状態にも人間の外観の変化が依存していることを明らかにする。 非剛性変形に対するデルタポーズシーケンス表現を利用した新しい手法であるDycoを導入する。 さらに, 慣性を考慮した3次元人間の手法は, 異なる速度での慣性による外観変化を前例なくシミュレートすることができる。
  論文  参考訳（メタデータ） (2024-03-28T06:05:14Z)
• CaPhy: Capturing Physical Properties for Animatable Human Avatars [44.95805736197971]
  CaPhyは、服のリアルなダイナミックな特性を持つ、アニマタブルな人間のアバターを再構築する新しい方法である。 本研究の目的は、実際の観測から衣服の幾何学的・物理的特性を捉えることである。 我々は,非教師なしトレーニングと物理に基づく損失と,スキャンデータを用いた3次元教師ありトレーニングを組み合わせて,衣服の動的モデルを構築した。
  論文  参考訳（メタデータ） (2023-08-11T04:01:13Z)
• Trajectory Optimization for Physics-Based Reconstruction of 3d Human Pose from Monocular Video [31.96672354594643]
  本研究は,単眼映像から身体的に可視な人間の動きを推定する作業に焦点をあてる。 物理を考慮しない既存のアプローチは、しばしば運動人工物と時間的に矛盾した出力を生み出す。 提案手法は,Human3.6Mベンチマークにおける既存の物理法と競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-24T18:02:49Z)
• SNUG: Self-Supervised Neural Dynamic Garments [14.83072352654608]
  本研究では,パラメトリックな人体が着る衣服の動的3次元変形を自己指導的に学習する手法を提案する。 これにより、動的変形や細かいしわを含むインタラクティブな衣服のモデルを、トレーニング時間に2桁の速度で学習することができる。
  論文  参考訳（メタデータ） (2022-04-05T13:50:21Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• MetaAvatar: Learning Animatable Clothed Human Models from Few Depth Images [60.56518548286836]
  新規な入力ポーズから現実的な布の変形を生成するには、通常、水密メッシュや高密度フルボディスキャンが入力として必要とされる。 本研究では, 単眼深度画像のみを考慮し, 制御可能なニューラルSDFとして表現された, リアルな衣服付きアバターを迅速に生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:30:12Z)
• SCALE: Modeling Clothed Humans with a Surface Codec of Articulated Local Elements [62.652588951757764]
  衣服のモデル化と再構成は、調音性、非剛性変形、衣服の種類や地形の変化などにより困難である。 最近の研究では、ニューラルネットワークを使ってローカルな表面要素をパラメータ化している。 まず、人間の体モデルに基づいて表面要素を変形させます。 第2に,局所的な特徴から局所的な幾何学を回帰させることにより,既存の神経表面要素の制限を解消する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:39Z)
• Style and Pose Control for Image Synthesis of Humans from a Single Monocular View [78.6284090004218]
  StylePoseGANは、ポーズと外観のコンディショニングを別々に受け入れる非制御発電機です。 我々のネットワークは、人間のイメージで完全に教師された方法で訓練され、ポーズ、外観、体の部分を切り離すことができる。 StylePoseGANは、一般的な知覚メトリクスで最新の画像生成忠実度を実現します。
  論文  参考訳（メタデータ） (2021-02-22T18:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。