論文の概要: SOAP: Style-Omniscient Animatable Portraits

• arxiv url: http://arxiv.org/abs/2505.05022v1
• Date: Thu, 08 May 2025 07:56:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.79524
• Title: SOAP: Style-Omniscient Animatable Portraits
• Title（参考訳）: SOAP: スタイル指向のアニマタブルなポートレイト
• Authors: Tingting Liao, Yujian Zheng, Adilbek Karmanov, Liwen Hu, Leyang Jin, Yuliang Xiu, Hao Li,
• Abstract要約: ソープは、あらゆる肖像画から厳密でトポロジに一貫性のあるアバターを生成するための、様式に精通した枠組みである。 提案手法は,24K3次元ヘッド上で学習した多視点拡散モデルを利用する。 その結果、テクスチャ化されたアバターはFACSベースのアニメーションをサポートし、眼球や歯と統合され、編まれた髪やアクセサリーのような細部を保存する。
• 参考スコア（独自算出の注目度）: 10.068636728419985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creating animatable 3D avatars from a single image remains challenging due to style limitations (realistic, cartoon, anime) and difficulties in handling accessories or hairstyles. While 3D diffusion models advance single-view reconstruction for general objects, outputs often lack animation controls or suffer from artifacts because of the domain gap. We propose SOAP, a style-omniscient framework to generate rigged, topology-consistent avatars from any portrait. Our method leverages a multiview diffusion model trained on 24K 3D heads with multiple styles and an adaptive optimization pipeline to deform the FLAME mesh while maintaining topology and rigging via differentiable rendering. The resulting textured avatars support FACS-based animation, integrate with eyeballs and teeth, and preserve details like braided hair or accessories. Extensive experiments demonstrate the superiority of our method over state-of-the-art techniques for both single-view head modeling and diffusion-based generation of Image-to-3D. Our code and data are publicly available for research purposes at https://github.com/TingtingLiao/soap.
• Abstract（参考訳）: 一つの画像からアニマタブルな3Dアバターを作るのは、スタイルの制限(現実的、漫画、アニメ)とアクセサリーやヘアスタイルの扱いが難しいため、依然として難しい。 3次元拡散モデルが一般的なオブジェクトの単一ビュー再構成を進める一方で、出力はアニメーションコントロールが欠如したり、ドメインギャップのためにアーティファクトに悩まされることが多い。 我々は、任意のポートレートからトリグされたトポロジに一貫性のあるアバターを生成するための、スタイルに精通したフレームワークであるSOAPを提案する。 提案手法では,複数スタイルの24K3次元ヘッド上で学習した多視点拡散モデルと適応最適化パイプラインを用いてFLAMEメッシュを変形させ,トポロジの維持と微分レンダリングによるリギングを実現する。 その結果、テクスチャ化されたアバターはFACSベースのアニメーションをサポートし、眼球や歯と統合され、編まれた髪やアクセサリーのような細部を保存する。 画像から3Dへの拡散に基づく画像生成と一視点頭部モデリングの両方における最先端技術よりも,本手法の方が優れていることを示す。 私たちのコードとデータは、https://github.com/TingtingLiao/soap.comで研究目的で公開されています。

関連論文リスト

• Avat3r: Large Animatable Gaussian Reconstruction Model for High-fidelity 3D Head Avatars [52.439807298140394]
  少数の入力画像から高品質でアニマタブルな3Dヘッドアバターを復元するAvat3rを提案する。 大規模なリコンストラクションモデルをアニマタブルにし、大規模なマルチビュービデオデータセットから3次元以上の人間の頭部を強力に学習する。 トレーニング中に異なる表現の入力イメージをモデルに供給することでロバスト性を高め,不整合入力からの3次元頭部アバターの再構成を可能にする。
  論文  参考訳（メタデータ） (2025-02-27T16:00:11Z)
• AniGS: Animatable Gaussian Avatar from a Single Image with Inconsistent Gaussian Reconstruction [26.82525451095629]
  本稿では,不整合画像の3次元再構成のためのロバストな手法を提案し,推論中のリアルタイムレンダリングを実現する。 再建問題を4次元課題として再検討し, 4次元ガウススプラッティングを用いた効率的な3次元モデリング手法を提案する。 実験により,本手法は3次元人体アバターの光実写・リアルタイムアニメーションを実現する。
  論文  参考訳（メタデータ） (2024-12-03T18:55:39Z)
• DreamDance: Animating Human Images by Enriching 3D Geometry Cues from 2D Poses [57.17501809717155]
  本研究では,骨格ポーズシーケンスのみを条件入力として,人間のイメージをアニメーションする新しい手法であるDreamDanceを提案する。 私たちの重要な洞察は、人間の画像は自然に複数のレベルの相関を示すということです。 我々は5Kの高品質なダンスビデオと詳細なフレームアノテーションを組み合わせたTikTok-Dance5Kデータセットを構築した。
  論文  参考訳（メタデータ） (2024-11-30T08:42:13Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• HeadSculpt: Crafting 3D Head Avatars with Text [143.14548696613886]
  テキストプロンプトから3Dヘッドアバターを作るために,HeadSculptという多用途パイプラインを導入した。 まずランドマークに基づく制御と学習されたテキスト埋め込みを活用することで,3次元認識による拡散モデルを構築した。 テクスチャメッシュを高分解能な微分可能なレンダリング技術で最適化するための,新しいアイデンティティ対応編集スコア蒸留手法を提案する。
  論文  参考訳（メタデータ） (2023-06-05T16:53:58Z)
• PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
  PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。 提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
  論文  参考訳（メタデータ） (2022-12-16T10:05:31Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。