論文の概要: R2Human: Real-Time 3D Human Appearance Rendering from a Single Image
- arxiv url: http://arxiv.org/abs/2312.05826v1
- Date: Sun, 10 Dec 2023 08:59:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 18:25:29.057610
- Title: R2Human: Real-Time 3D Human Appearance Rendering from a Single Image
- Title(参考訳): R2Human:1枚の画像からリアルタイムの3D画像表示
- Authors: Qiao Feng, Yuanwang Yang, Yu-Kun Lai, Kun Li
- Abstract要約: R$2$Humanは、1つの画像から3D人間の外見をリアルタイムに推測およびレンダリングするための最初のアプローチである。
本稿では、可視領域の高忠実な色再現を行い、隠蔽領域に対して信頼性の高い色推定を行うエンド・ツー・エンド・ネットワークを提案する。
- 参考スコア(独自算出の注目度): 46.691972209370704
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing 3D human appearance from a single image is crucial for
achieving holographic communication and immersive social experiences. However,
this remains a challenge for existing methods, which typically rely on
multi-camera setups or are limited to offline operations. In this paper, we
propose R$^2$Human, the first approach for real-time inference and rendering of
photorealistic 3D human appearance from a single image. The core of our
approach is to combine the strengths of implicit texture fields and explicit
neural rendering with our novel representation, namely Z-map. Based on this, we
present an end-to-end network that performs high-fidelity color reconstruction
of visible areas and provides reliable color inference for occluded regions. To
further enhance the 3D perception ability of our network, we leverage the
Fourier occupancy field to reconstruct a detailed 3D geometry, which serves as
a prior for the texture field generation and provides a sampling surface in the
rendering stage. Experiments show that our end-to-end method achieves
state-of-the-art performance on both synthetic data and challenging real-world
images and even outperforms many offline methods. The project page is available
for research purposes at http://cic.tju.edu.cn/faculty/likun/projects/R2Human.
- Abstract(参考訳): ホログラフィックコミュニケーションと没入型社会体験を実現するためには,1枚の画像から3次元人間の外観を再構築することが不可欠である。
しかし、これは、通常マルチカメラのセットアップに依存する、あるいはオフライン操作に限定される既存のメソッドにとって、依然として課題である。
本稿では,1つの画像から実写的3次元人物像のリアルタイム推論とレンダリングを行う最初の手法であるr$^2$humanを提案する。
我々のアプローチの中核は、暗黙のテクスチャフィールドと明示的なニューラルレンダリングの強みと、新しい表現であるZマップを組み合わせることである。
そこで本研究では,可視領域の忠実度の高い色再構成を行い,オクルード領域の信頼性の高い色推定を行うエンドツーエンドネットワークを提案する。
ネットワークの3次元知覚能力をさらに高めるために、フーリエ占有場を利用して、テクスチャフィールド生成の前駆体として機能し、レンダリング段階でサンプリング面を提供する詳細な3次元形状を再構築する。
実験の結果,本手法は合成データと実世界画像の両方において最先端のパフォーマンスを達成し,オフラインメソッドを上回ることさえ可能であった。
プロジェクトページは http://cic.tju.edu.cn/faculty/likun/projects/R2Human で研究目的で公開されている。
関連論文リスト
- ConTex-Human: Free-View Rendering of Human from a Single Image with
Texture-Consistent Synthesis [49.28239918969784]
テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。
また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
論文 参考訳(メタデータ) (2023-11-28T13:55:53Z) - Single-Image 3D Human Digitization with Shape-Guided Diffusion [31.99621159464388]
NeRFとその変種は通常、異なる視点からのビデオや画像を必要とする。
単一入力画像から一貫した高解像度の外観を持つ人物の360度映像を生成する手法を提案する。
論文 参考訳(メタデータ) (2023-11-15T18:59:56Z) - TeCH: Text-guided Reconstruction of Lifelike Clothed Humans [35.68114652041377]
既存の方法は、ぼやけたテクスチャで非常に滑らかな裏面を生成することが多い。
基礎モデルの力に触発されて、TeCHは記述的テキストプロンプトを利用して3D人間を再構築する。
そこで本研究では,DMTetをベースとした3次元ハイブリッド表現を提案する。
論文 参考訳(メタデータ) (2023-08-16T17:59:13Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - Unsupervised High-Fidelity Facial Texture Generation and Reconstruction [20.447635896077454]
本稿では,タスクとテクスチャの生成,高忠実度テクスチャの回復という新たな統合パイプラインを提案する。
テクスチャモデルでは,テクスチャマップのスキャンとは対照的に,自然画像から教師なしでテクスチャモデルを学習する。
正確な3DMMフィッティングを適用することで、モデル化したテクスチャを合成生成した背景画像にシームレスに統合することができる。
論文 参考訳(メタデータ) (2021-10-10T10:59:04Z) - OSTeC: One-Shot Texture Completion [86.23018402732748]
ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。
提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。
完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
論文 参考訳(メタデータ) (2020-12-30T23:53:26Z) - SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。
我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。
我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
論文 参考訳(メタデータ) (2020-08-16T10:22:00Z) - AvatarMe: Realistically Renderable 3D Facial Reconstruction
"in-the-wild" [105.28776215113352]
AvatarMe は、1つの "in-the-wild" 画像から高精細度で光リアルな3D顔を再構成できる最初の方法である。
6K解像度の3D画像を1枚の低解像度画像から再現する。
論文 参考訳(メタデータ) (2020-03-30T22:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。