論文の概要: AniArtAvatar: Animatable 3D Art Avatar from a Single Image

• arxiv url: http://arxiv.org/abs/2403.17631v1
• Date: Tue, 26 Mar 2024 12:08:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 15:37:32.167633
• Title: AniArtAvatar: Animatable 3D Art Avatar from a Single Image
• Title（参考訳）: AniArtAvatar:1枚の画像から3Dアートアバターを作る
• Authors: Shaoxu Li,
• Abstract要約: 単一画像からアニマタブルな3D認識アートアバターを生成するための新しいアプローチを提案する。 我々は、ビュー条件付き2次元拡散モデルを用いて、中性表現で1枚の絵画像から多視点画像を合成する。 アバターアニメーションでは、制御点を抽出し、これらの点で動きを転送し、暗黙の正準空間を変形する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel approach for generating animatable 3D-aware art avatars from a single image, with controllable facial expressions, head poses, and shoulder movements. Unlike previous reenactment methods, our approach utilizes a view-conditioned 2D diffusion model to synthesize multi-view images from a single art portrait with a neutral expression. With the generated colors and normals, we synthesize a static avatar using an SDF-based neural surface. For avatar animation, we extract control points, transfer the motion with these points, and deform the implicit canonical space. Firstly, we render the front image of the avatar, extract the 2D landmarks, and project them to the 3D space using a trained SDF network. We extract 3D driving landmarks using 3DMM and transfer the motion to the avatar landmarks. To animate the avatar pose, we manually set the body height and bound the head and torso of an avatar with two cages. The head and torso can be animated by transforming the two cages. Our approach is a one-shot pipeline that can be applied to various styles. Experiments demonstrate that our method can generate high-quality 3D art avatars with desired control over different motions.
• Abstract（参考訳）: 本稿では, 顔表情, 頭部ポーズ, 肩の動きを制御可能な, 単一の画像からアニマタブルな3次元アートアバターを生成するための新しいアプローチを提案する。 従来の再現法とは違って,本手法ではビュー条件付き2次元拡散モデルを用いて,一枚の肖像画から中性表現で多視点画像を合成する。 生成した色と正常値を用いて、SDFベースのニューラルサーフェスを用いて静的アバターを合成する。 アバターアニメーションでは、制御点を抽出し、これらの点で動きを転送し、暗黙の正準空間を変形する。 まず、アバターの前面画像を描画し、2Dランドマークを抽出し、訓練されたSDFネットワークを用いて3D空間に投影する。 3DMMを用いて3次元走行ランドマークを抽出し,アバターランドマークに移動させる。 アバターのポーズをアニメーションするために、手動で身長を設定し、アバターの頭と胴体を2つのケージで縛った。 頭部と胴体は2つのケージを変換してアニメーションすることができる。 私たちのアプローチは、さまざまなスタイルに適用可能なワンショットパイプラインです。 実験により, 異なる動作に対して所望の制御を施した高品質な3Dアートアバターを製作できることが実証された。

関連論文リスト

• DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion [69.67970568012599]
  テキストからアニマタブルな3Dアバター生成のための新しい学習フレームワークDreamWaltz-Gを提案する。 このフレームワークのコアはScore DistillationとHybrid 3D Gaussian Avatar表現にある。 我々のフレームワークは、人間のビデオ再現や多目的シーン構成など、多様なアプリケーションもサポートしています。
  論文  参考訳（メタデータ） (2024-09-25T17:59:45Z)
• DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
  顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。 本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
  論文  参考訳（メタデータ） (2024-08-20T06:52:03Z)
• AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text [71.09533176800707]
  アバターストゥディオ(AvatarStudio)は、アニマタブルな人間のアバターのために、明瞭なテクスチャ化された3Dメッシュを生成する粗大で微細な生成モデルである。 調音メッシュ表現とDensePose条件拡散モデルとの相乗効果を効果的に活用することにより、AvatarStudioは高品質なアバターを作成することができる。
  論文  参考訳（メタデータ） (2023-11-29T18:59:32Z)
• AvatarVerse: High-quality & Stable 3D Avatar Creation from Text and Pose [23.76390935089982]
  AvatarVerseはテキスト記述とポーズガイダンスから高表現性3Dアバターを生成する安定なパイプラインである。 そこで本研究では, より表現力が高いだけでなく, 高品質な3次元アバターの非忠実な3次元モデリングを提案する。
  論文  参考訳（メタデータ） (2023-08-07T14:09:46Z)
• DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
  本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。 アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
  論文  参考訳（メタデータ） (2023-05-21T17:59:39Z)
• AvatarGen: A 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、様々な外観と制御可能なジオメトリーを持つ3D認識された人間の無監督世代である。 提案手法は, 高品質な外観と幾何学的モデリングにより, アニマタブルな3次元アバターを生成することができる。 シングルビュー再構成、再アニメーション、テキスト誘導合成/編集など、多くのアプリケーションに向いている。
  論文  参考訳（メタデータ） (2022-11-26T15:15:45Z)
• Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
  メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。 メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。 本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
  論文  参考訳（メタデータ） (2022-10-04T19:34:05Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)
• AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars [37.43588165101838]
  AvatarCLIPは、3Dアバター生成とアニメーションのためのゼロショットテキスト駆動フレームワークである。 我々は、強力な視覚言語モデルCLIPを利用して、ニューラル・ヒューマン・ジェネレーションを監督する。 動作VAEで得られた先行情報を活用することで,CLIP誘導参照ベースモーション合成法が生成した3Dアバターのアニメーションに対して提案される。
  論文  参考訳（メタデータ） (2022-05-17T17:59:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。