論文の概要: LayGA: Layered Gaussian Avatars for Animatable Clothing Transfer
- arxiv url: http://arxiv.org/abs/2405.07319v1
- Date: Sun, 12 May 2024 16:11:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 15:34:20.391272
- Title: LayGA: Layered Gaussian Avatars for Animatable Clothing Transfer
- Title（参考訳）: LayGA: Animatable Clothing Transferのための層状ガウスアバター
- Authors: Siyou Lin, Zhe Li, Zhaoqi Su, Zerong Zheng, Hongwen Zhang, Yebin Liu,
- Abstract要約: 我々は、体と衣服を2つの別々の層として定式化する新しい表現であるLayGA(LayGA)を提示する。
我々の表現は、ガウスの地図に基づくアバターの上に構築され、衣服の詳細の表現力に優れています。
単層再構成では,滑らかな表面を再構成するための一連の幾何的制約を提案する。
多層フィッティングの段階では、体と衣服を表すために2つの異なるモデルを訓練し、再構築された衣服のジオメトリーを3D監視として活用する。
- 参考スコア（独自算出の注目度）: 40.372917698238204
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Animatable clothing transfer, aiming at dressing and animating garments across characters, is a challenging problem. Most human avatar works entangle the representations of the human body and clothing together, which leads to difficulties for virtual try-on across identities. What's worse, the entangled representations usually fail to exactly track the sliding motion of garments. To overcome these limitations, we present Layered Gaussian Avatars (LayGA), a new representation that formulates body and clothing as two separate layers for photorealistic animatable clothing transfer from multi-view videos. Our representation is built upon the Gaussian map-based avatar for its excellent representation power of garment details. However, the Gaussian map produces unstructured 3D Gaussians distributed around the actual surface. The absence of a smooth explicit surface raises challenges in accurate garment tracking and collision handling between body and garments. Therefore, we propose two-stage training involving single-layer reconstruction and multi-layer fitting. In the single-layer reconstruction stage, we propose a series of geometric constraints to reconstruct smooth surfaces and simultaneously obtain the segmentation between body and clothing. Next, in the multi-layer fitting stage, we train two separate models to represent body and clothing and utilize the reconstructed clothing geometries as 3D supervision for more accurate garment tracking. Furthermore, we propose geometry and rendering layers for both high-quality geometric reconstruction and high-fidelity rendering. Overall, the proposed LayGA realizes photorealistic animations and virtual try-on, and outperforms other baseline methods. Our project page is https://jsnln.github.io/layga/index.html.
- Abstract（参考訳）: キャラクター間の衣料品の着替えやアニメ化をめざすアニマタブルな衣料転送は難しい問題である。
ほとんどの人間のアバターは、人間の体と衣服の表現をくっつけることで、仮想的な試行錯誤の難しさを招いている。
さらに悪いことに、絡み合った表現は通常、衣服の滑りの動きを正確に追跡することができないのです。
この制限を克服するために、我々はLayGA(Layered Gaussian Avatars)という新しい表現を紹介した。
我々の表現は、ガウスの地図に基づくアバターの上に構築され、衣服の詳細の表現力に優れています。
しかし、ガウス写像は実際の曲面の周りに分布する非構造的な3次元ガウス写像を生成する。
スムーズな表面がないことは、正確な衣服追跡と体と衣服の衝突処理の課題を提起する。
そこで本研究では,単層再構築と多層フィッティングを含む2段階のトレーニングを提案する。
単層リコンストラクション段階において,スムーズな表面を再構築し,同時に体と衣服のセグメンテーションを得るための一連の幾何的制約を提案する。
次に,多層フィッティング段階では,体と衣服を表すために2つの異なるモデルを訓練し,再構築された衣服のジオメトリーを3次元監視として利用し,より正確な衣服追跡を行う。
さらに,高品質な幾何再構成と高忠実なレンダリングのための幾何層とレンダリング層を提案する。
全体として、提案したLayGAは、フォトリアリスティックなアニメーションと仮想トライオンを実現し、他のベースライン手法よりも優れている。
私たちのプロジェクトページはhttps://jsnln.github.io/layga/index.htmlです。
関連論文リスト
- DAGSM: Disentangled Avatar Generation with GS-enhanced Mesh [102.84518904896737]
DAGSMは、与えられたテキストプロンプトから歪んだ人体と衣服を生成する新しいパイプラインである。
まず着ていない体を作り、次に体に基づいて個々の布を生成します。
実験では、DAGSMは高品質なアンタングルアバターを生成し、衣服の交換とリアルなアニメーションをサポートし、視覚的品質においてベースラインを上回っている。
論文 参考訳（メタデータ） (2024-11-20T07:00:48Z) - Towards High-Quality 3D Motion Transfer with Realistic Apparel Animation [69.36162784152584]
本研究では,現実的なアパレルアニメーションを用いた高品質な動き伝達を目的とした新しい手法を提案する。
本稿では,2つのニューラル変形モジュールを介し,物体とアパレルの変形を学習するデータ駆動パイプラインを提案する。
本手法は各種アパレルの品質に優れた結果をもたらす。
論文 参考訳（メタデータ） (2024-07-15T22:17:35Z) - LAGA: Layered 3D Avatar Generation and Customization via Gaussian Splatting [18.613001290226773]
LAGA(Layered Gaussian Avatar)は、多彩な衣服で高忠実で分解可能なアバターを作成できるフレームワークである。
衣料品をアバターから切り離すことで,アバターを衣服レベルで安定的に編集することを可能にする。
提案手法は, 従来の3次元衣料人体生成手法を超越した手法である。
論文 参考訳（メタデータ） (2024-05-21T10:24:06Z) - ISP: Multi-Layered Garment Draping with Implicit Sewing Patterns [57.176642106425895]
本稿では,現在のアプローチの限界に対処する衣服表現モデルを提案する。
これは、純粋に暗黙的な表面表現よりも高速で高品質な再構成をもたらす。
個々の2Dパネルを編集することで、衣服の形状やテクスチャを素早く編集できる。
論文 参考訳（メタデータ） (2023-05-23T14:23:48Z) - PERGAMO: Personalized 3D Garments from Monocular Video [6.8338761008826445]
PERGAMOはモノクロ画像から3D衣服の変形可能なモデルを学ぶためのデータ駆動型アプローチである。
まず,1枚の画像から衣服の3次元形状を再構築する新しい手法を紹介し,それを用いて単眼ビデオから衣服のデータセットを構築する。
本手法は,実世界の動作にマッチする衣料アニメーションを作成でき,モーションキャプチャーデータセットから抽出した身体の動きを一般化できることを示す。
論文 参考訳（メタデータ） (2022-10-26T21:15:54Z) - Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。
メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。
本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
論文 参考訳（メタデータ） (2022-10-04T19:34:05Z) - Garment4D: Garment Reconstruction from Point Cloud Sequences [12.86951061306046]
異なる形状の3次元人体を異なるポーズで装うためには, 3次元衣服の再構築が重要である。
従来は入力として2D画像に頼っていたが、規模やあいまいさに悩まされていた。
本稿では,衣服の復元に3次元点雲列を用いたGarment4Dを提案する。
論文 参考訳（メタデータ） (2021-12-08T08:15:20Z) - The Power of Points for Modeling Humans in Clothing [60.00557674969284]
現在、アーティストはリアルな衣服で自然に動く3Dアバターを作る必要がある。
3次元表現は様々なトポロジを高分解能で捉えることができ、データから学習できることを示す。
我々は、異なる衣服の形状を表現するために、新しい局所的な衣服幾何学的特徴を持つニューラルネットワークを訓練する。
論文 参考訳（メタデータ） (2021-09-02T17:58:45Z) - Explicit Clothing Modeling for an Animatable Full-Body Avatar [21.451440299450592]
マルチビューキャプチャービデオから上半身の衣服を明示的に表現したアニマタブルな布製のアバターを製作した。
身体力学と衣服状態の相互作用を学習するために、時間的畳み込みネットワークを用いて衣服潜伏コードの予測を行う。
3つの異なるアクターに対してフォトリアリスティックなアニメーションを出力し、単層アバターよりも布体アバターの利点を実演する。
論文 参考訳（メタデータ） (2021-06-28T17:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。