論文の概要: SimAvatar: Simulation-Ready Avatars with Layered Hair and Clothing

• arxiv url: http://arxiv.org/abs/2412.09545v1
• Date: Thu, 12 Dec 2024 18:35:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 17:02:00.098479
• Title: SimAvatar: Simulation-Ready Avatars with Layered Hair and Clothing
• Title（参考訳）: SimAvatar: 層状ヘアと衣服を備えたシミュレーション可能なアバター
• Authors: Xueting Li, Ye Yuan, Shalini De Mello, Gilles Daviet, Jonathan Leaf, Miles Macklin, Jan Kautz, Umar Iqbal,
• Abstract要約: テキストプロンプトからシミュレーション可能な3次元アバターを生成するためのフレームワークであるSimAvatarを紹介する。 提案手法は, 現実的で, 完全にシミュレーション可能な3Dアバターを製作し, 現行のアプローチの能力を上回った最初の手法である。
• 参考スコア（独自算出の注目度）: 59.44721317364197
• License:
• Abstract: We introduce SimAvatar, a framework designed to generate simulation-ready clothed 3D human avatars from a text prompt. Current text-driven human avatar generation methods either model hair, clothing, and the human body using a unified geometry or produce hair and garments that are not easily adaptable for simulation within existing simulation pipelines. The primary challenge lies in representing the hair and garment geometry in a way that allows leveraging established prior knowledge from foundational image diffusion models (e.g., Stable Diffusion) while being simulation-ready using either physics or neural simulators. To address this task, we propose a two-stage framework that combines the flexibility of 3D Gaussians with simulation-ready hair strands and garment meshes. Specifically, we first employ three text-conditioned 3D generative models to generate garment mesh, body shape and hair strands from the given text prompt. To leverage prior knowledge from foundational diffusion models, we attach 3D Gaussians to the body mesh, garment mesh, as well as hair strands and learn the avatar appearance through optimization. To drive the avatar given a pose sequence, we first apply physics simulators onto the garment meshes and hair strands. We then transfer the motion onto 3D Gaussians through carefully designed mechanisms for each body part. As a result, our synthesized avatars have vivid texture and realistic dynamic motion. To the best of our knowledge, our method is the first to produce highly realistic, fully simulation-ready 3D avatars, surpassing the capabilities of current approaches.
• Abstract（参考訳）: テキストプロンプトからシミュレーション可能な3次元アバターを生成するためのフレームワークであるSimAvatarを紹介する。 現在のテキスト駆動型ヒトアバター生成法は、統一された幾何学を用いて毛髪、衣服、人体をモデル化するか、既存のシミュレーションパイプライン内では容易には適用できない毛髪や衣服を生産する。 第一の課題は、基礎的なイメージ拡散モデル(例えば、安定拡散)から確立された知識を活用できるように、毛髪と衣服の幾何学を表現し、物理または神経シミュレーターを使用してシミュレーション可能なことである。 この課題に対処するために,3次元ガウスの柔軟性とシミュレーション可能なヘアストランドと衣服メッシュを組み合わせた2段階のフレームワークを提案する。 具体的には、まず3つのテキスト条件付き3D生成モデルを用いて、所定のテキストプロンプトから衣服メッシュ、体形、ヘアストランドを生成する。 基礎拡散モデルからの事前知識を活用するために,3次元ガウスアンを体メッシュ,衣服メッシュ,ヘアストランドに加え,最適化によりアバターの外観を学習する。 ポーズシーケンスを付与したアバターを駆動するために,まず,衣服メッシュとヘアストランドに物理シミュレータを適用した。 動作を3Dガウシアンに転送し、各身体部位に対して慎重に設計された機構を設計する。 その結果, 合成アバターは鮮やかなテクスチャとリアルな動特性を有することがわかった。 我々の知る限り、我々の手法は、非常に現実的で完全にシミュレーション可能な3Dアバターを初めて生成し、現在のアプローチの能力を超越している。

関連論文リスト

• PhysAvatar: Learning the Physics of Dressed 3D Avatars from Visual Observations [62.14943588289551]
  逆レンダリングと逆物理を組み合わせた新しいフレームワークであるPhysAvatarを導入し、人間の形や外観を自動的に推定する。 PhysAvatarは、トレーニングデータに見られない動きや照明条件の下で、ゆったりした服を着たアバターを再構築する。
  論文  参考訳（メタデータ） (2024-04-05T21:44:57Z)
• Animatable and Relightable Gaussians for High-fidelity Human Avatar Modeling [47.1427140235414]
  強力な2次元CNNと3次元ガウススプラッティングを活用して高忠実度アバターを作成する新しいアバター表現を提案する。 我々の手法は、動的で現実的で、一般化され、楽しく見えるアバターを作ることができる。
  論文  参考訳（メタデータ） (2023-11-27T18:59:04Z)
• DiffAvatar: Simulation-Ready Garment Optimization with Differentiable Simulation [27.553678582454648]
  物理シミュレーションは、人間の現実的な動きを生み出すことができるが、布のシミュレーションには、関連する物理パラメータを持つ高品質な衣服の資産が必要である。 本稿では,身体と衣服の共最適化を行う新しい手法であるPapernameを提案する。 提案手法は,下流の用途に適したリアルな衣服や体型を創出することを示す。
  論文  参考訳（メタデータ） (2023-11-20T21:20:37Z)
• Learning Disentangled Avatars with Hybrid 3D Representations [102.9632315060652]
  本稿では,DELTA(Disentangled Avatars)について述べる。 身体と衣服の絡み合いを考慮し、第二に顔と髪を縮めます。 これら2つのアプリケーションを簡単に組み合わせて、フルボディアバターをモデル化する方法を示す。
  論文  参考訳（メタデータ） (2023-09-12T17:59:36Z)
• PERGAMO: Personalized 3D Garments from Monocular Video [6.8338761008826445]
  PERGAMOはモノクロ画像から3D衣服の変形可能なモデルを学ぶためのデータ駆動型アプローチである。 まず,1枚の画像から衣服の3次元形状を再構築する新しい手法を紹介し,それを用いて単眼ビデオから衣服のデータセットを構築する。 本手法は,実世界の動作にマッチする衣料アニメーションを作成でき,モーションキャプチャーデータセットから抽出した身体の動きを一般化できることを示す。
  論文  参考訳（メタデータ） (2022-10-26T21:15:54Z)
• Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
  メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。 メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。 本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
  論文  参考訳（メタデータ） (2022-10-04T19:34:05Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。