論文の概要: WildAvatar: Learning In-the-wild 3D Avatars from the Web
- arxiv url: http://arxiv.org/abs/2407.02165v4
- Date: Wed, 12 Mar 2025 14:19:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-13 15:36:05.848073
- Title: WildAvatar: Learning In-the-wild 3D Avatars from the Web
- Title（参考訳）: WildAvatar: WebからWild 3Dアバターを学ぶ
- Authors: Zihao Huang, Shoukang Hu, Guangcong Wang, Tianqi Liu, Yuhang Zang, Zhiguo Cao, Wei Li, Ziwei Liu,
- Abstract要約: ウェブから人間をキュレートするためのフィルタプロトコルを用いた注釈パイプラインを提案する。
そして、YouTubeから抽出されたウェブスケールの人間のアバター生成データセットであるWildAvatarをキュレートする。
WildAvatarは、人間の3Dアバター作成のための以前のデータセットより少なくとも10倍高額で、現実世界に近い。
- 参考スコア（独自算出の注目度）: 55.85887047136534
- License:
- Abstract: Existing research on avatar creation is typically limited to laboratory datasets, which require high costs against scalability and exhibit insufficient representation of the real world. On the other hand, the web abounds with off-the-shelf real-world human videos, but these videos vary in quality and require accurate annotations for avatar creation. To this end, we propose an automatic annotating pipeline with filtering protocols to curate these humans from the web. Our pipeline surpasses state-of-the-art methods on the EMDB benchmark, and the filtering protocols boost verification metrics on web videos. We then curate WildAvatar, a web-scale in-the-wild human avatar creation dataset extracted from YouTube, with $10000+$ different human subjects and scenes. WildAvatar is at least $10\times$ richer than previous datasets for 3D human avatar creation and closer to the real world. To explore its potential, we demonstrate the quality and generalizability of avatar creation methods on WildAvatar. We will publicly release our code, data source links and annotations to push forward 3D human avatar creation and other related fields for real-world applications.
- Abstract（参考訳）: 既存のアバター生成の研究は実験室のデータセットに限られており、スケーラビリティに対するコストが高く、現実世界の表現が不十分である。
一方、ウェブには既成の現実世界の人間のビデオがたくさんあるが、これらのビデオは品質が異なり、アバターの作成に正確なアノテーションを必要とする。
そこで本研究では,これらの人体をWebからキュレートするためのフィルタプロトコルを備えた自動アノテーションパイプラインを提案する。
我々のパイプラインはEMDBベンチマークの最先端手法を超越し、フィルタリングプロトコルはWebビデオの検証メトリクスを向上する。
そして、YouTubeから抽出したウェブスケールの人間のアバター生成データセットWildAvatarを10万ドル以上でキュレートした。
WildAvatarは、人間の3Dアバター作成のための以前のデータセットよりも高額で、現実世界に近い。
その可能性を探るため、WildAvatar上でのアバター生成手法の品質と一般化性を実証した。
私たちは、実際のアプリケーションのための3Dヒューマンアバター作成やその他の関連分野を推進するために、コード、データソースリンク、アノテーションを公開します。
関連論文リスト
- PuzzleAvatar: Assembling 3D Avatars from Personal Albums [54.831084076478874]
我々は,OOTDアルバムから忠実な3Dアバターを生成する新しいモデルであるPuzzleAvatarを開発した。
学習したトークンを“パズルピース”として利用して,忠実でパーソナライズされた3Dアバターを組み立てます。
論文 参考訳（メタデータ） (2024-05-23T17:59:56Z) - Text2Avatar: Text to 3D Human Avatar Generation with Codebook-Driven
Body Controllable Attribute [33.330629835556664]
本研究では,テキストプロンプトを結合した3次元アバターを現実的に生成できるText2Avatarを提案する。
リアルな3次元アバターデータの不足を軽減するために, 事前学習した非条件の3次元アバター生成モデルを用いる。
論文 参考訳（メタデータ） (2024-01-01T09:39:57Z) - AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text [71.09533176800707]
アバターストゥディオ(AvatarStudio)は、アニマタブルな人間のアバターのために、明瞭なテクスチャ化された3Dメッシュを生成する粗大で微細な生成モデルである。
調音メッシュ表現とDensePose条件拡散モデルとの相乗効果を効果的に活用することにより、AvatarStudioは高品質なアバターを作成することができる。
論文 参考訳（メタデータ） (2023-11-29T18:59:32Z) - DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。
アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
論文 参考訳（メタデータ） (2023-05-21T17:59:39Z) - AvatarCraft: Transforming Text into Neural Human Avatars with
Parameterized Shape and Pose Control [38.959851274747145]
アバタークラフト(AvatarCraft)は、3Dの人間のアバターを作る方法である。
拡散モデルを用いて1つのテキストプロンプトに基づく神経アバターの幾何学とテクスチャの学習を導く。
我々は、暗黙の場を明示的なワープフィールドで変形させることにより、人間のアバターをアニマタブルにする。
論文 参考訳（メタデータ） (2023-03-30T17:59:59Z) - AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars [37.43588165101838]
AvatarCLIPは、3Dアバター生成とアニメーションのためのゼロショットテキスト駆動フレームワークである。
我々は、強力な視覚言語モデルCLIPを利用して、ニューラル・ヒューマン・ジェネレーションを監督する。
動作VAEで得られた先行情報を活用することで,CLIP誘導参照ベースモーション合成法が生成した3Dアバターのアニメーションに対して提案される。
論文 参考訳（メタデータ） (2022-05-17T17:59:19Z) - MVP-Human Dataset for 3D Human Avatar Reconstruction from Unconstrained
Frames [59.37430649840777]
野生(Arwild)における3次元アバター再構成を行い,まず暗黙のスキンフィールドを多段階的に再構成する。
大規模なデータセットであるMVP-Humanには400人の被験者が参加し、それぞれ異なるポーズで15のスキャンを行います。
全体として、特定のネットワークアーキテクチャと多様なデータにより、トレーニングされたモデルは、制約のないフレームから3Dアバターを再構築することができる。
論文 参考訳（メタデータ） (2022-04-24T03:57:59Z) - StylePeople: A Generative Model of Fullbody Human Avatars [59.42166744151461]
パラメトリックメッシュに基づく体モデルとニューラルテクスチャを組み合わせた,新しいタイプのフルボディヒトアバターを提案する。
このようなアバターは衣服や髪型をうまくモデル化できるため、メッシュベースのアプローチでは問題となる。
そこで我々は,画像や映像のデータセットから学習できるアバターの生成モデルを提案する。
論文 参考訳（メタデータ） (2021-04-16T20:43:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。