論文の概要: DiffPortrait360: Consistent Portrait Diffusion for 360 View Synthesis

• arxiv url: http://arxiv.org/abs/2503.15667v1
• Date: Wed, 19 Mar 2025 19:47:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:34:20.671005
• Title: DiffPortrait360: Consistent Portrait Diffusion for 360 View Synthesis
• Title（参考訳）: DiffPortrait360:360ビュー合成のための一貫したポートレート拡散
• Authors: Yuming Gu, Phong Tran, Yujian Zheng, Hongyi Xu, Heyuan Li, Adilbek Karmanov, Hao Li,
• Abstract要約: 完全一貫した360度ヘッドビューを生成する新しい手法を提案する。 連続的なビューシーケンスをトレーニングし、バックレファレンス画像を統合することにより、ロバストで局所的な連続的なビュー合成を実現する。 我々のモデルは、リアルタイムで自由視点レンダリングのための高品質なニューラルレイディアンスフィールド(NeRF)を作成するために使用することができる。
• 参考スコア（独自算出の注目度）: 11.51144219543605
• License:
• Abstract: Generating high-quality 360-degree views of human heads from single-view images is essential for enabling accessible immersive telepresence applications and scalable personalized content creation. While cutting-edge methods for full head generation are limited to modeling realistic human heads, the latest diffusion-based approaches for style-omniscient head synthesis can produce only frontal views and struggle with view consistency, preventing their conversion into true 3D models for rendering from arbitrary angles. We introduce a novel approach that generates fully consistent 360-degree head views, accommodating human, stylized, and anthropomorphic forms, including accessories like glasses and hats. Our method builds on the DiffPortrait3D framework, incorporating a custom ControlNet for back-of-head detail generation and a dual appearance module to ensure global front-back consistency. By training on continuous view sequences and integrating a back reference image, our approach achieves robust, locally continuous view synthesis. Our model can be used to produce high-quality neural radiance fields (NeRFs) for real-time, free-viewpoint rendering, outperforming state-of-the-art methods in object synthesis and 360-degree head generation for very challenging input portraits.
• Abstract（参考訳）: 没入型テレプレゼンスアプリケーションとスケーラブルなパーソナライズされたコンテンツ作成を実現するためには,単一視点画像から人間の頭部の高画質な360度ビューを生成することが不可欠である。 完全頭部生成のための最先端の手法は、現実的な人間の頭部のモデリングに限られるが、最新の拡散型頭部合成のアプローチは、正面視のみを生成でき、視野の整合性に苦慮し、任意の角度からレンダリングするための真の3Dモデルへの変換を妨げている。 眼鏡や帽子などのアクセサリーを含む,完全に一貫した360度ヘッドビューを生成し,人間,スタイリング,人為的なフォームを収容する,新しいアプローチを導入する。 提案手法はDiffPortrait3Dフレームワーク上に構築され,バック・オブ・ヘッドの詳細生成のためのカスタムコントロールネットと,グローバルなフロントエンドの整合性を確保するためのデュアル外観モジュールが組み込まれている。 連続的なビューシーケンスをトレーニングし、バックレファレンス画像を統合することにより、ロバストで局所的な連続的なビュー合成を実現する。 我々のモデルは、リアルタイムで自由視点レンダリングのための高品質なニューラルレーダランス場(NeRF)、オブジェクト合成における最先端の手法、非常に困難な入力ポートレートのための360度ヘッド生成に利用することができる。

関連論文リスト

• Synthetic Prior for Few-Shot Drivable Head Avatar Inversion [61.51887011274453]
  そこで本研究では,合成前駆体に基づく乾燥可能な頭部アバターの少数ショット逆転法であるSynShotを提案する。 合成データのみに基づいて訓練された機械学習モデルに着想を得て,合成頭部の大きなデータセットから先行モデルを学習する手法を提案する。 我々は3次元ガウススプラッティングとUVテクスチャ空間におけるガウスパラメータを出力する畳み込みエンコーダデコーダを用いて頭部アバターをモデル化する。
  論文  参考訳（メタデータ） (2025-01-12T19:01:05Z)
• FaceLift: Single Image to 3D Head with View Generation and GS-LRM [54.24070918942727]
  FaceLiftは、1枚の画像から高速で高品質な360度頭部再構築のためのフィードフォワード方式である。 FaceLiftは3次元頭部再構成において最先端の手法よりも優れており、実世界の画像に対する実用性とロバストな性能を強調している。
  論文  参考訳（メタデータ） (2024-12-23T18:59:49Z)
• Head360: Learning a Parametric 3D Full-Head for Free-View Synthesis in 360° [25.86740659962933]
  アーティストが設計した高忠実度頭部のデータセットを構築し,それを用いた新しいパラメトリック頭部モデルを提案する。 本手法は,従来のパラメトリック3Dメッシュモデルと付加された神経テクスチャで表される顔の動き・形状・顔の外観を分離する。 実験により、パラメトリック空間では顔の動きや外観がうまく絡み合っていることが示され、SOTAのレンダリングとアニメーション品質が向上した。
  論文  参考訳（メタデータ） (2024-08-01T05:46:06Z)
• Morphable Diffusion: 3D-Consistent Diffusion for Single-image Avatar Creation [14.064983137553353]
  我々は、制御可能な光リアルな人間のアバターを作成するために、生成拡散モデルの品質と機能を高めることを目的としている。 我々は,3次元形態素モデルを最先端の多視点拡散手法に統合することで実現した。 提案するフレームワークは, 完全3次元一貫性, アニマタブル, フォトリアリスティックな人間のアバターの作成を可能にする最初の拡散モデルである。
  論文  参考訳（メタデータ） (2024-01-09T18:59:04Z)
• InceptionHuman: Controllable Prompt-to-NeRF for Photorealistic 3D Human Generation [61.62346472443454]
  InceptionHumanは、異なるモードのプロンプトの組み合わせで簡単にコントロールでき、フォトリアリスティックな3D人間を生成することができるプロンプト・トゥ・NeRFフレームワークである。 InceptionHumanは、徐々に洗練されたNeRF空間内で、一貫した3Dヒューマン生成を実現する。
  論文  参考訳（メタデータ） (2023-11-27T15:49:41Z)
• Single-Image 3D Human Digitization with Shape-Guided Diffusion [31.99621159464388]
  NeRFとその変種は通常、異なる視点からのビデオや画像を必要とする。 単一入力画像から一貫した高解像度の外観を持つ人物の360度映像を生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-15T18:59:56Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。