論文の概要: AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using Garment Rigging Model

• arxiv url: http://arxiv.org/abs/2401.15348v1
• Date: Sat, 27 Jan 2024 08:48:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 18:36:53.075556
• Title: AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using Garment Rigging Model
• Title（参考訳）: AniDress:ガーメントリグモデルを用いたスパースビューからのアニマタブルルースドレッシングアバター
• Authors: Beijia Chen, Yuefan Shen, Qing Shuai, Xiaowei Zhou, Kun Zhou, Youyi Zheng
• Abstract要約: AniDressは、非常にスパースなマルチビュービデオを用いて、ゆるい服装でアニマタブルな人間のアバターを生成する新しい方法である。 身体運動と衣服運動の両方に条件付されたポーズ駆動型変形可能なニューラルラディアンス場を導入し、両方の部品を明示的に制御する。 本手法は,身体から高度に逸脱する自然の衣服のダイナミックスを描画し,目に見えない景色とポーズの両方に一般化することができる。
• 参考スコア（独自算出の注目度）: 58.035758145894846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent communities have seen significant progress in building photo-realistic animatable avatars from sparse multi-view videos. However, current workflows struggle to render realistic garment dynamics for loose-fitting characters as they predominantly rely on naked body models for human modeling while leaving the garment part un-modeled. This is mainly due to that the deformations yielded by loose garments are highly non-rigid, and capturing such deformations often requires dense views as supervision. In this paper, we introduce AniDress, a novel method for generating animatable human avatars in loose clothes using very sparse multi-view videos (4-8 in our setting). To allow the capturing and appearance learning of loose garments in such a situation, we employ a virtual bone-based garment rigging model obtained from physics-based simulation data. Such a model allows us to capture and render complex garment dynamics through a set of low-dimensional bone transformations. Technically, we develop a novel method for estimating temporal coherent garment dynamics from a sparse multi-view video. To build a realistic rendering for unseen garment status using coarse estimations, a pose-driven deformable neural radiance field conditioned on both body and garment motions is introduced, providing explicit control of both parts. At test time, the new garment poses can be captured from unseen situations, derived from a physics-based or neural network-based simulator to drive unseen garment dynamics. To evaluate our approach, we create a multi-view dataset that captures loose-dressed performers with diverse motions. Experiments show that our method is able to render natural garment dynamics that deviate highly from the body and generalize well to both unseen views and poses, surpassing the performance of existing methods. The code and data will be publicly available.
• Abstract（参考訳）: 近年のコミュニティでは、写実的なアニメーション可能なアバターをスリムなマルチビュービデオから作っている。 しかし、現在のワークフローでは、人間のモデリングに裸のボディモデルに大きく依存するので、ゆるやかなキャラクターのためにリアルな衣服のダイナミクスをレンダリングするのに苦労している。 これは主に、ゆるい衣服が生み出す変形が極めて厳密なものであり、そのような変形を捉えた場合、監督の必要がしばしばあるためである。 本稿では,非常にスムーズなマルチビュービデオ (4-8 in our set) を用いて,ゆるい衣服にアニマタブルな人間のアバターを生成する新しい方法であるAniDressを紹介する。 このような状況下で, ゆるい衣服の撮影・外観学習を可能にするために, 物理シミュレーションデータから得られた仮想骨ベース衣料リギングモデルを用いた。 このようなモデルにより、低次元の骨変換によって複雑な衣服のダイナミクスをキャプチャし、描画することができる。 技術的には、スパースマルチビュービデオから時間的コヒーレントな衣服のダイナミクスを推定する新しい手法を開発した。 粗い推定を用いた被着状態の現実的なレンダリングを構築するために、両部位を明示的に制御し、両身体と衣服動作に条件づけされたポーズ駆動変形可能な神経放射場を導入する。 テスト時には、新しい衣服のポーズは、物理ベースまたはニューラルネットワークベースのシミュレーターから派生した、目に見えない状況から捉えられる。 このアプローチを評価するために、さまざまな動きを持つゆるい服装のパフォーマーをキャプチャするマルチビューデータセットを作成する。 実験により,本手法は身体から高度に逸脱する自然な衣服のダイナミックスを表現でき,既存の手法の性能を上回って,目に見えない視点とポーズの両方にうまく一般化できることを示した。 コードとデータは公開される予定だ。

関連論文リスト

• Garment Animation NeRF with Color Editing [6.357662418254495]
  そこで本稿では, 明示的な衣料プロキシを必要とせずに, 身体動作系列から衣料アニメーションを合成する手法を提案する。 本手法は, 体の動きから衣服の動的特徴を推定し, 衣服構造を概観する。 身体の動きやカメラの視界にまたがる手法の一般化性を実証し、詳細な構造的整合性を確保する。
  論文  参考訳（メタデータ） (2024-07-29T08:17:05Z)
• PICA: Physics-Integrated Clothed Avatar [30.277983921620663]
  PICAは, 物理学的精度のよい, 高忠実でアニマタブルな人間のアバターを, ゆるやかな衣服でも表現できる新しい表現法である。 提案手法は, 複雑で斬新な運転ポーズにおいて, 人体の高忠実なレンダリングを実現し, 従来手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-07-07T10:23:21Z)
• High-Quality Animatable Dynamic Garment Reconstruction from Monocular Videos [51.8323369577494]
  そこで本研究では,モノクロビデオから高品質なアニマタブルな動的衣服をスキャンデータに頼らずに回収する手法を提案する。 様々な不明瞭なポーズに対する合理的な変形を生成するために,学習可能な衣服変形ネットワークを提案する。 提案手法は,高品質な動的衣服をコヒーレントな表面形状で再構成し,見知らぬポーズで容易にアニメーションできることを示す。
  論文  参考訳（メタデータ） (2023-11-02T13:16:27Z)
• Dressing Avatars: Deep Photorealistic Appearance for Physically Simulated Clothing [49.96406805006839]
  リアルな衣服の動態とリアルなデータから学んだフォトリアリスティックな外観の両方を示す衣服の明示的なモデリングを施したポーズ駆動アバターを紹介した。 我々の重要な貢献は物理的にインスパイアされた外観ネットワークであり、視界依存的かつダイナミックな影効果を持つ光リアルな外観を生成できる。
  論文  参考訳（メタデータ） (2022-06-30T17:58:20Z)
• Garment Avatars: Realistic Cloth Driving using Pattern Registration [39.936812232884954]
  衣料品の乾式表現のためのエンドツーエンドパイプラインを提案する。 ガーメント・アバター(Garment Avatar)は、衣服の表現的かつ完全に駆動可能な幾何学モデルである。 リアルな仮想テレプレゼンスアプリケーションにおけるパイプラインの有効性を実証する。
  論文  参考訳（メタデータ） (2022-06-07T15:06:55Z)
• Learning Motion-Dependent Appearance for High-Fidelity Rendering of Dynamic Humans from a Single Camera [49.357174195542854]
  外観のダイナミクスを学ぶ上で重要な課題は、違法に大量の観測を必要とすることである。 本手法は,1つの視点映像から,身体のポーズや新しいビューを時間的に協調的に生成できることを示す。
  論文  参考訳（メタデータ） (2022-03-24T00:22:03Z)
• gDNA: Towards Generative Detailed Neural Avatars [94.9804106939663]
  我々のモデルでは,多様で詳細な衣服を身に着けた自然の人間のアバターを生成できることが示されている。 本手法は,人間のモデルを生のスキャンに適合させる作業に使用することができ,従来の最先端技術よりも優れていた。
  論文  参考訳（メタデータ） (2022-01-11T18:46:38Z)
• Dynamic Neural Garments [45.833166320896716]
  本稿では,身体の関節運動を取り込み,リアルな動的衣服画像列を直接生成する解を提案する。 具体的には, アバターの目標関節運動列を考慮し, ダイナミック・ニューラル・ウェアスを提案し, プラウシブル・ダイナミック・ウェアスの外観をシミュレートし, レンダリングする。
  論文  参考訳（メタデータ） (2021-02-23T17:21:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。