論文の概要: High-Quality 3D Head Reconstruction from Any Single Portrait Image

• arxiv url: http://arxiv.org/abs/2503.08516v2
• Date: Tue, 18 Mar 2025 12:58:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:12:03.040007
• Title: High-Quality 3D Head Reconstruction from Any Single Portrait Image
• Title（参考訳）: 単一画像からの高画質3次元頭部再構成
• Authors: Jianfu Zhang, Yujie Gao, Jiahui Zhan, Wentao Wang, Yiyi Zhang, Haohua Zhao, Liqing Zhang,
• Abstract要約: 本稿では,1枚のポートレート画像から,視点,表情,アクセサリーに関係なく,新しい高忠実度3次元頭部再構成手法を提案する。 本手法は,サイドフェイスアングルや複雑なアクセサリなど,難易度の高いシナリオに対して堅牢な性能を示す。
• 参考スコア（独自算出の注目度）: 18.035517064261168
• License:
• Abstract: In this work, we introduce a novel high-fidelity 3D head reconstruction method from a single portrait image, regardless of perspective, expression, or accessories. Despite significant efforts in adapting 2D generative models for novel view synthesis and 3D optimization, most methods struggle to produce high-quality 3D portraits. The lack of crucial information, such as identity, expression, hair, and accessories, limits these approaches in generating realistic 3D head models. To address these challenges, we construct a new high-quality dataset containing 227 sequences of digital human portraits captured from 96 different perspectives, totalling 21,792 frames, featuring diverse expressions and accessories. To further improve performance, we integrate identity and expression information into the multi-view diffusion process to enhance facial consistency across views. Specifically, we apply identity- and expression-aware guidance and supervision to extract accurate facial representations, which guide the model and enforce objective functions to ensure high identity and expression consistency during generation. Finally, we generate an orbital video around the portrait consisting of 96 multi-view frames, which can be used for 3D portrait model reconstruction. Our method demonstrates robust performance across challenging scenarios, including side-face angles and complex accessories
• Abstract（参考訳）: 本研究では,1枚のポートレート画像から,視点,表情,アクセサリーに関係なく,新しい高忠実度3次元頭部再構成手法を提案する。 新規なビュー合成と3D最適化のために2D生成モデルを適用する大きな努力にもかかわらず、ほとんどの手法は高品質な3Dポートレートを作成するのに苦労している。 アイデンティティ、表現、毛髪、アクセサリーといった重要な情報の欠如は、現実的な3Dヘッドモデルの生成においてこれらのアプローチを制限する。 これらの課題に対処するため、96の異なる視点から捉えた227のデジタル人間の肖像画を含む、新しい高品質なデータセットを構築し、21,792フレームの多彩な表現とアクセサリーを特徴とする。 パフォーマンスをさらに向上するため,多視点拡散プロセスにアイデンティティと表現情報を統合し,ビュー間の顔の整合性を高める。 具体的には、識別と表現を意識した指導と指導を応用して正確な表情を抽出し、モデルを示し、生成時に高いアイデンティティと表現整合性を確保するために目的関数を強制する。 最後に、96個の多視点フレームからなるポートレートの周囲の軌道映像を生成し、3次元のポートレートモデル再構成に使用することができる。 我々の手法は、側面角や複雑なアクセサリーを含む難解なシナリオにまたがる堅牢な性能を示す。

関連論文リスト

• Identity Preserving 3D Head Stylization with Multiview Score Distillation [7.8340104876025105]
  3Dヘッドスタイリングは、リアルな顔の特徴を芸術的な表現に変換し、ゲームやバーチャルリアリティーアプリケーションにおけるユーザーのエンゲージメントを高める。 本稿では,PanoHeadモデルを活用することで,360度の総合的な視点から画像を合成することで,これらの課題に対処する。 本稿では, 否定対数類似蒸留(LD)を利用した新しい枠組みを提案し, アイデンティティの保存とスタイリゼーション品質の向上を図る。
  論文  参考訳（メタデータ） (2024-11-20T18:37:58Z)
• SPARK: Self-supervised Personalized Real-time Monocular Face Capture [6.093606972415841]
  現在の最先端技術では、パラメトリックな3D顔モデルを幅広いアイデンティティにわたってリアルタイムに再現することができる。 本稿では,被写体の制約のない映像を先行情報として活用し,高精度な3次元顔撮影手法を提案する。
  論文  参考訳（メタデータ） (2024-09-12T12:30:04Z)
• ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
  ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。 前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
  論文  参考訳（メタデータ） (2024-05-26T13:36:45Z)
• AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections [78.81539337399391]
  顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。 これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。 生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:44:57Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• Head3D: Complete 3D Head Generation via Tri-plane Feature Distillation [56.267877301135634]
  現在のフルヘッド生成法では、モデルをトレーニングするために多数の3Dスキャンやマルチビューイメージが必要となる。 マルチビュー画像に制限のある完全3Dヘッドを生成する手法であるHead3Dを提案する。 本モデルは,写真リアルなレンダリングと高品質な幾何表現により,コスト効率と多種多様な完全ヘッド生成を実現する。
  論文  参考訳（メタデータ） (2023-03-28T11:12:26Z)
• Dynamic Neural Portraits [58.480811535222834]
  フルヘッド再現問題に対する新しいアプローチであるDynamic Neural Portraitsを提案する。 本手法は,頭部ポーズ,表情,視線を明示的に制御し,写実的な映像像を生成する。 実験の結果,提案手法は最近のNeRF法よりも270倍高速であることがわかった。
  論文  参考訳（メタデータ） (2022-11-25T10:06:14Z)
• Explicitly Controllable 3D-Aware Portrait Generation [42.30481422714532]
  ポーズ,アイデンティティ,表現,照明に関する意味的パラメータに基づいて,一貫した肖像画を生成する3次元肖像画生成ネットワークを提案する。 提案手法は,自然光の鮮明な表現によるリアルな肖像画を,自由視点で見る場合,先行技術よりも優れる。
  論文  参考訳（メタデータ） (2022-09-12T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。