論文の概要: One-Shot Novel View and Pose Human Image Synthesis via 3D Prior Guided Diffusion Model

• arxiv url: http://arxiv.org/abs/2606.19718v1
• Date: Thu, 18 Jun 2026 02:34:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.613093
• Title: One-Shot Novel View and Pose Human Image Synthesis via 3D Prior Guided Diffusion Model
• Title（参考訳）: 3次元事前誘導拡散モデルによるワンショット新規視点と擬人画像合成
• Authors: Shenjian Gong, Kangkan Wang, Shanshan Zhang, Jian Yang,
• Abstract要約: 本研究では, 条件付き認知拡散モデルを用いて, 歌い手画像からの新規な視点とポーズ合成を提案する。 我々の拡散モデルは、新しい視点と合成問題を条件付きデノナイジングステップのシーケンスに分割する。 参照された人間を一連の拡散ステップで対象人間に移動させることにより、我々の拡散モデルは高品質な合成を可能にする。
• 参考スコア（独自算出の注目度）: 21.980221869687508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the challenge of one-shot novel view and pose human image synthesis. The existing methods transfer the reference human image to a target pose using a set of 2D pose keypoints or synthesize human images based on generalizable human NeRF which uses human model priors to extract point-wise features. However, pose transfer based methods can not handle complex human pose using ambiguous 2D pose as the condition, while generalizable human NeRFs may be inaccurate to recover occluded/invisiable human parts without extracted reliable features. To solve these problems, we propose a novel approach for novel view and pose synthesis from a singe human image via conditional denoising diffusion model. Our diffusion model divides the novel view and pose synthesis problem into a sequence of conditional denoising steps. Specifically, to generate humans with complex and arbitrary poses, we introduce 3D human priors, i.e., 3D normal map and color prompt, as geometry and color conditions into the generation process. By transferring the reference human into the target human with a series of diffusion steps, our diffusion model enables high-quality synthesis including the occluded/invisible parts. Further, we propose a self-reconstruction based customized refinement to enhance fine details when tested on novel persons.Experimental results on different public datasets demonstrate that our approach significantly outperforms previous methods and also shows better generalization ability across datasets. The code will be made publicly available at https://github.com/Yankeegsj/3DPGDM.
• Abstract（参考訳）: 本稿では、ワンショット・ノベル・ビューの課題に対処し、人間の画像合成を行う。 既存の方法では、2Dポーズキーポイントのセットを用いて、対象のポーズに参照された人間の画像を転送するか、人間のモデルを用いた一般化可能なヒトNeRFに基づいて、ポイントワイズ特徴を抽出する。 しかし、ポーズ伝達に基づく手法では、不明瞭な2Dポーズを条件として複雑な人間のポーズを処理できない。 これらの問題を解決するために, 条件付き認知拡散モデルを用いて, 歌い手画像から新しい視点とポーズを合成する手法を提案する。 我々の拡散モデルは、新しい視点と合成問題を条件付きデノナイジングステップのシーケンスに分割する。 具体的には、複雑で任意のポーズを持つ人間を生成するために、3次元の通常の地図とカラープロンプトを、幾何学的および色条件として生成プロセスに導入する。 参照された人間を一連の拡散ステップで対象人間に移動させることにより、我々の拡散モデルは、閉塞/見えない部分を含む高品質な合成を可能にする。 さらに,新参者を対象にした自己再構成による精密化手法を提案するとともに,提案手法が従来の手法よりも優れていることを示すとともに,データセット間の一般化能力も向上することを示す。 コードはhttps://github.com/Yankeegsj/3DPGDMで公開される。

関連論文リスト

• HumanGif: Single-View Human Diffusion with Generative Prior [25.516544735593087]
  本稿では, 先行生成に基づく単一ビューヒト拡散モデルであるHumanGifを提案する。 具体的には、単一ビューに基づく3次元人間の新しいビューを定式化し、単一ビュー条件のヒト拡散過程として合成する。 我々は,HumanGifが最高の知覚性能を達成し,新しい視点とポーズ合成の一般化性が向上したことを示す。
  論文  参考訳（メタデータ） (2025-02-17T17:55:27Z)
• GAS: Generative Avatar Synthesis from a Single Image [54.95198111659466]
  本研究では,1枚の画像から一対一かつ時間的にコヒーレントなアバターを合成する枠組みを提案する。 提案手法は, 回帰に基づく3次元再構成と拡散モデルの生成能力を組み合わせたものである。
  論文  参考訳（メタデータ） (2025-02-10T19:00:39Z)
• InceptionHuman: Controllable Prompt-to-NeRF for Photorealistic 3D Human Generation [61.62346472443454]
  InceptionHumanは、異なるモードのプロンプトの組み合わせで簡単にコントロールでき、フォトリアリスティックな3D人間を生成することができるプロンプト・トゥ・NeRFフレームワークである。 InceptionHumanは、徐々に洗練されたNeRF空間内で、一貫した3Dヒューマン生成を実現する。
  論文  参考訳（メタデータ） (2023-11-27T15:49:41Z)
• Novel View Synthesis of Humans using Differentiable Rendering [50.57718384229912]
  我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。 我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。 これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
  論文  参考訳（メタデータ） (2023-03-28T10:48:33Z)
• NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
  本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-20T09:02:13Z)
• Liquid Warping GAN with Attention: A Unified Framework for Human Image Synthesis [58.05389586712485]
  我々は、人間の動きの模倣、外見の移入、新しい視点の合成など、人間の画像合成に取り組む。 本稿では,ポーズと形状を乱す3次元ボディーメッシュ回収モジュールを提案する。 我々はまた、人間の動きの模倣、外観伝達、新しいビュー合成を評価するために、新しいデータセット、すなわちiPERデータセットを構築した。
  論文  参考訳（メタデータ） (2020-11-18T02:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。