論文の概要: DAGSM: Disentangled Avatar Generation with GS-enhanced Mesh

• arxiv url: http://arxiv.org/abs/2411.15205v1
• Date: Wed, 20 Nov 2024 07:00:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:19:18.922461
• Title: DAGSM: Disentangled Avatar Generation with GS-enhanced Mesh
• Title（参考訳）: DAGSM:GS強化メッシュを用いたアンタングルアバター生成
• Authors: Jingyu Zhuang, Di Kang, Linchao Bao, Liang Lin, Guanbin Li,
• Abstract要約: DAGSMは、与えられたテキストプロンプトから歪んだ人体と衣服を生成する新しいパイプラインである。 まず着ていない体を作り、次に体に基づいて個々の布を生成します。 実験では、DAGSMは高品質なアンタングルアバターを生成し、衣服の交換とリアルなアニメーションをサポートし、視覚的品質においてベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 102.84518904896737
• License:
• Abstract: Text-driven avatar generation has gained significant attention owing to its convenience. However, existing methods typically model the human body with all garments as a single 3D model, limiting its usability, such as clothing replacement, and reducing user control over the generation process. To overcome the limitations above, we propose DAGSM, a novel pipeline that generates disentangled human bodies and garments from the given text prompts. Specifically, we model each part (e.g., body, upper/lower clothes) of the clothed human as one GS-enhanced mesh (GSM), which is a traditional mesh attached with 2D Gaussians to better handle complicated textures (e.g., woolen, translucent clothes) and produce realistic cloth animations. During the generation, we first create the unclothed body, followed by a sequence of individual cloth generation based on the body, where we introduce a semantic-based algorithm to achieve better human-cloth and garment-garment separation. To improve texture quality, we propose a view-consistent texture refinement module, including a cross-view attention mechanism for texture style consistency and an incident-angle-weighted denoising (IAW-DE) strategy to update the appearance. Extensive experiments have demonstrated that DAGSM generates high-quality disentangled avatars, supports clothing replacement and realistic animation, and outperforms the baselines in visual quality.
• Abstract（参考訳）: テキスト駆動型アバター生成はその利便性のために大きな注目を集めている。 しかし、既存の方法は一般的に、すべての衣服を1つの3Dモデルとしてモデル化し、衣服の交換などの使用性を制限し、生成プロセスに対するユーザコントロールを減らす。 上記の制限を克服するため,与えられたテキストプロンプトから人体と衣服の絡み合う新しいパイプラインであるDAGSMを提案する。 具体的には,人間の各部分(例えば,体,上/下着)を1つのGS強化メッシュ(GSM)としてモデル化する。これは2Dガウスアンを装着した伝統的なメッシュで,複雑なテクスチャ(例えば,ウーレン,半透明の衣服)をよりよく処理し,リアルな布のアニメーションを生成する。 生成過程において,まず被着体を作成し,続いて被着体に基づく個別の布生成のシーケンスを作成し,より優れた人着と衣服の分離を実現するための意味に基づくアルゴリズムを導入する。 テクスチャの質を向上させるために,テクスチャスタイルの整合性を考慮したクロスビューアテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アテンション・アライメント・モジュールを提案する。 広汎な実験により、DAGSMは高品質な不整合アバターを生成し、衣服の交換とリアルなアニメーションをサポートし、視覚的品質のベースラインを上回ります。

関連論文リスト

• PICA: Physics-Integrated Clothed Avatar [30.277983921620663]
  PICAは, 物理学的精度のよい, 高忠実でアニマタブルな人間のアバターを, ゆるやかな衣服でも表現できる新しい表現法である。 提案手法は, 複雑で斬新な運転ポーズにおいて, 人体の高忠実なレンダリングを実現し, 従来手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-07-07T10:23:21Z)
• ClotheDreamer: Text-Guided Garment Generation with 3D Gaussians [13.196912161879936]
  ClotheDreamerは、テキストプロンプトから、ウェアラブルで生産可能な3D衣服の資産を生成する方法だ。 本稿では,Distangled Clothe Gaussian Splatting (DCGS)を提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:25:39Z)
• TELA: Text to Layer-wise 3D Clothed Human Generation [27.93447899876341]
  本稿では,テクスチャ記述による3次元衣料人文生成の課題について論じる。 本稿では,プログレッシブ最適化戦略と組み合わせて,レイヤワイドな人間の表現を提案する。 提案手法は,最先端の3D衣料人為的生成を実現するとともに,布の編集アプリケーションもサポートしている。
  論文  参考訳（メタデータ） (2024-04-25T17:05:38Z)
• DressCode: Autoregressively Sewing and Generating Garments from Text Guidance [61.48120090970027]
  DressCodeは、初心者向けのデザインを民主化し、ファッションデザイン、バーチャルトライオン、デジタルヒューマン創造において大きな可能性を秘めている。 まず,テキスト条件の埋め込みとクロスアテンションを統合して縫製パターンを生成する,GPTベースのアーキテクチャであるSewingGPTを紹介する。 次に、トレーニング済みの安定拡散を調整し、タイルベースの衣服用物理レンダリング(PBR)テクスチャを生成します。
  論文  参考訳（メタデータ） (2024-01-29T16:24:21Z)
• AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using Garment Rigging Model [58.035758145894846]
  AniDressは、非常にスパースなマルチビュービデオを用いて、ゆるい服装でアニマタブルな人間のアバターを生成する新しい方法である。 身体運動と衣服運動の両方に条件付されたポーズ駆動型変形可能なニューラルラディアンス場を導入し、両方の部品を明示的に制御する。 本手法は,身体から高度に逸脱する自然の衣服のダイナミックスを描画し,目に見えない景色とポーズの両方に一般化することができる。
  論文  参考訳（メタデータ） (2024-01-27T08:48:18Z)
• Layered 3D Human Generation via Semantic-Aware Diffusion Model [63.459666003261276]
  本稿では,新しい意味認識拡散モデルに基づくテキスト駆動型3次元人文生成フレームワークを提案する。 生成した衣服を対象のテキストと整合性を保つために,衣服のセマンティック・信頼戦略を提案する。 そこで本研究では,SMPLによる暗黙的フィールド変形ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-10T07:34:43Z)
• Disentangled Clothed Avatar Generation from Text Descriptions [41.01453534915251]
  本稿では,人体と衣服を別々に生成する新しいテキスト・トゥ・アバター生成手法を提案する。 提案手法は,テクスチャやテクスチャの質の向上,テキストプロンプトとのセマンティックアライメントの向上を実現する。
  論文  参考訳（メタデータ） (2023-12-08T18:43:12Z)
• XAGen: 3D Expressive Human Avatars Generation [76.69560679209171]
  XAGenは人体、顔、手を表現的に制御できる人間のアバターのための最初の3D生成モデルである。 身体, 顔, 手の合成を両立させる多部レンダリング手法を提案する。 実験によると、XAGenは現実主義、多様性、表現力のある制御能力の点で最先端の手法を超越している。
  論文  参考訳（メタデータ） (2023-11-22T18:30:42Z)
• Text-guided 3D Human Generation from 2D Collections [69.04031635550294]
  本稿では,テクスト誘導型3Dヒューマンジェネレーション(texttT3H)について紹介する。 CCHは、抽出されたファッションセマンティクスを用いたヒューズ合成ヒトのレンダリングに、クロスモーダルアテンションを採用する。 我々はDeepFashionとSHHQで、上着と下着の形状、生地、色を多彩なファッション特性で評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:50:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。