論文の概要: DLCA-Recon: Dynamic Loose Clothing Avatar Reconstruction from Monocular Videos

• arxiv url: http://arxiv.org/abs/2312.12096v2
• Date: Wed, 20 Dec 2023 05:21:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 12:25:16.651014
• Title: DLCA-Recon: Dynamic Loose Clothing Avatar Reconstruction from Monocular Videos
• Title（参考訳）: DLCA-Recon : モノクロ映像からの動的ルース着衣アバター再構成
• Authors: Chunjie Luo, Fei Luo, Yusen Wang, Enxu Zhao, Chunxia Xiao
• Abstract要約: 本研究では,モノクロビデオからヒトアバターを作成するDLCA-Recon法を提案する。 ゆるい服から下半身までの距離は、人間が自由に動き、行動するとき、フレームごとに急速に変化する。 本手法は,SOTA法と比較して,衣服がゆるい人間に対して優れた結果が得られる。
• 参考スコア（独自算出の注目度）: 15.449755248457457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing a dynamic human with loose clothing is an important but difficult task. To address this challenge, we propose a method named DLCA-Recon to create human avatars from monocular videos. The distance from loose clothing to the underlying body rapidly changes in every frame when the human freely moves and acts. Previous methods lack effective geometric initialization and constraints for guiding the optimization of deformation to explain this dramatic change, resulting in the discontinuous and incomplete reconstruction surface. To model the deformation more accurately, we propose to initialize an estimated 3D clothed human in the canonical space, as it is easier for deformation fields to learn from the clothed human than from SMPL. With both representations of explicit mesh and implicit SDF, we utilize the physical connection information between consecutive frames and propose a dynamic deformation field (DDF) to optimize deformation fields. DDF accounts for contributive forces on loose clothing to enhance the interpretability of deformations and effectively capture the free movement of loose clothing. Moreover, we propagate SMPL skinning weights to each individual and refine pose and skinning weights during the optimization to improve skinning transformation. Based on more reasonable initialization and DDF, we can simulate real-world physics more accurately. Extensive experiments on public and our own datasets validate that our method can produce superior results for humans with loose clothing compared to the SOTA methods.
• Abstract（参考訳）: ゆるい服でダイナミックな人間を再構築することは重要だが難しい。 この課題に対処するため,単眼ビデオからヒトアバターを作成するDLCA-Recon法を提案する。 ゆるい服から下半身までの距離は、人間が自由に動き、行動するとき、フレームごとに急速に変化する。 従来の手法では、この劇的な変化を説明するために変形の最適化を導くための効果的な幾何学的初期化と制約が欠如しており、不連続かつ不完全な復元面をもたらす。 変形場をSMPLより容易に学習できるので, 変形をより正確にモデル化するために, 標準空間で推定された3次元布地を初期化することを提案する。 明示的メッシュと暗黙的SDFの両方の表現を用いて、連続するフレーム間の物理的接続情報を利用し、変形場を最適化する動的変形場(DDF)を提案する。 DDFは、変形の解釈可能性を高め、ゆるい衣服の自由な動きを効果的に捉えるために、ゆるい衣服に寄与する力を担っている。 さらに,各個体にSMPLスキンウェイトを伝播させ,最適化中にポーズやスキンウェイトを洗練させ,スキントランスフォーメーションを改善する。 より合理的な初期化とddfに基づいて、現実世界の物理をより正確にシミュレートすることができる。 一般および自前のデータセットを用いた広範囲な実験により,soma法と比較して,ゆるい服装のヒトに対して優れた結果が得られることを確認した。

関連論文リスト

• PocoLoco: A Point Cloud Diffusion Model of Human Shape in Loose Clothing [97.83361232792214]
  PocoLocoは、ゆるい服を着た3D人間のための、テンプレートのない、ポイントベースの、ポーズ条件付き生成モデルである。 本研究では,アバター服の変形をデノナイズ拡散フレームワーク内の条件付き点雲生成タスクとして定式化する。 ゆるい服装でさまざまなポーズをとる2人の被験者のデータセットを、合計75K点の雲で公開する。
  論文  参考訳（メタデータ） (2024-11-06T20:42:13Z)
• DressRecon: Freeform 4D Human Reconstruction from Monocular Video [64.61230035671885]
  本稿では,モノクラービデオから時間一貫性のある人体モデルを再構築する手法を提案する。 非常にゆるい衣服やハンドヘルドオブジェクトのインタラクションに重点を置いています。 DressReconは、先行技術よりも忠実度の高い3D再構築を実現している。
  論文  参考訳（メタデータ） (2024-09-30T17:59:15Z)
• ReLoo: Reconstructing Humans Dressed in Loose Garments from Monocular Video in the Wild [33.7726643918619]
  ReLooは、モノラルなインザワイルドビデオから、ゆるい服を着た人間の高品質な3Dモデルを再構築する。 まず、布を被った人間を神経内装と外装に分解する層状神経人間表現を構築した。 グローバルな最適化は、多層異なるボリュームレンダリングにより、人体と衣服の形状、外観、変形を共同で最適化する。
  論文  参考訳（メタデータ） (2024-09-23T17:58:39Z)
• Towards High-Quality 3D Motion Transfer with Realistic Apparel Animation [69.36162784152584]
  本研究では,現実的なアパレルアニメーションを用いた高品質な動き伝達を目的とした新しい手法を提案する。 本稿では,2つのニューラル変形モジュールを介し,物体とアパレルの変形を学習するデータ駆動パイプラインを提案する。 本手法は各種アパレルの品質に優れた結果をもたらす。
  論文  参考訳（メタデータ） (2024-07-15T22:17:35Z)
• PICA: Physics-Integrated Clothed Avatar [30.277983921620663]
  PICAは, 物理学的精度のよい, 高忠実でアニマタブルな人間のアバターを, ゆるやかな衣服でも表現できる新しい表現法である。 提案手法は, 複雑で斬新な運転ポーズにおいて, 人体の高忠実なレンダリングを実現し, 従来手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-07-07T10:23:21Z)
• MOSS: Motion-based 3D Clothed Human Synthesis from Monocular Video [14.683309699648175]
  ワンビューの人間の再構築は、仮想現実の応用において中心的な位置を占めている。 現在の手法は、運動が表面の変形に与える影響をしばしば見落とし、その結果、表面は大域的な動きによって課される制約を欠いている。 運動に基づく3次元衣料合成 (MOSS) を導入し, 運動認識型ガウス分割を実現する。
  論文  参考訳（メタデータ） (2024-05-21T13:57:53Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• MetaAvatar: Learning Animatable Clothed Human Models from Few Depth Images [60.56518548286836]
  新規な入力ポーズから現実的な布の変形を生成するには、通常、水密メッシュや高密度フルボディスキャンが入力として必要とされる。 本研究では, 単眼深度画像のみを考慮し, 制御可能なニューラルSDFとして表現された, リアルな衣服付きアバターを迅速に生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:30:12Z)
• Deep Physics-aware Inference of Cloth Deformation for Monocular Human Performance Capture [84.73946704272113]
  物理をトレーニングプロセスに統合することで、学習した布の変形が改善し、衣服を別の幾何学的要素としてモデル化できることを示す。 提案手法は現在の最先端手法よりも大幅に改善され,人間の衣服の変形面全体に対する現実的なモノクロキャプチャに向けた明確なステップとなる。
  論文  参考訳（メタデータ） (2020-11-25T16:46:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。