論文の概要: R2Human: Real-Time 3D Human Appearance Rendering from a Single Image
- arxiv url: http://arxiv.org/abs/2312.05826v1
- Date: Sun, 10 Dec 2023 08:59:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 18:25:29.057610
- Title: R2Human: Real-Time 3D Human Appearance Rendering from a Single Image
- Title（参考訳）: R2Human:1枚の画像からリアルタイムの3D画像表示
- Authors: Qiao Feng, Yuanwang Yang, Yu-Kun Lai, Kun Li
- Abstract要約: R$2$Humanは、1つの画像から3D人間の外見をリアルタイムに推測およびレンダリングするための最初のアプローチである。
本稿では、可視領域の高忠実な色再現を行い、隠蔽領域に対して信頼性の高い色推定を行うエンド・ツー・エンド・ネットワークを提案する。
- 参考スコア（独自算出の注目度）: 46.691972209370704
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing 3D human appearance from a single image is crucial for
achieving holographic communication and immersive social experiences. However,
this remains a challenge for existing methods, which typically rely on
multi-camera setups or are limited to offline operations. In this paper, we
propose R$^2$Human, the first approach for real-time inference and rendering of
photorealistic 3D human appearance from a single image. The core of our
approach is to combine the strengths of implicit texture fields and explicit
neural rendering with our novel representation, namely Z-map. Based on this, we
present an end-to-end network that performs high-fidelity color reconstruction
of visible areas and provides reliable color inference for occluded regions. To
further enhance the 3D perception ability of our network, we leverage the
Fourier occupancy field to reconstruct a detailed 3D geometry, which serves as
a prior for the texture field generation and provides a sampling surface in the
rendering stage. Experiments show that our end-to-end method achieves
state-of-the-art performance on both synthetic data and challenging real-world
images and even outperforms many offline methods. The project page is available
for research purposes at http://cic.tju.edu.cn/faculty/likun/projects/R2Human.
- Abstract（参考訳）: ホログラフィックコミュニケーションと没入型社会体験を実現するためには,1枚の画像から3次元人間の外観を再構築することが不可欠である。
しかし、これは、通常マルチカメラのセットアップに依存する、あるいはオフライン操作に限定される既存のメソッドにとって、依然として課題である。
本稿では,1つの画像から実写的3次元人物像のリアルタイム推論とレンダリングを行う最初の手法であるr$^2$humanを提案する。
我々のアプローチの中核は、暗黙のテクスチャフィールドと明示的なニューラルレンダリングの強みと、新しい表現であるZマップを組み合わせることである。
そこで本研究では,可視領域の忠実度の高い色再構成を行い,オクルード領域の信頼性の高い色推定を行うエンドツーエンドネットワークを提案する。
ネットワークの3次元知覚能力をさらに高めるために、フーリエ占有場を利用して、テクスチャフィールド生成の前駆体として機能し、レンダリング段階でサンプリング面を提供する詳細な3次元形状を再構築する。
実験の結果,本手法は合成データと実世界画像の両方において最先端のパフォーマンスを達成し,オフラインメソッドを上回ることさえ可能であった。
プロジェクトページは http://cic.tju.edu.cn/faculty/likun/projects/R2Human で研究目的で公開されている。
関連論文リスト
- ConTex-Human: Free-View Rendering of Human from a Single Image with
Texture-Consistent Synthesis [49.28239918969784]
テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。
また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
論文 参考訳（メタデータ） (2023-11-28T13:55:53Z) - Single-Image 3D Human Digitization with Shape-Guided Diffusion [31.99621159464388]
NeRFとその変種は通常、異なる視点からのビデオや画像を必要とする。
単一入力画像から一貫した高解像度の外観を持つ人物の360度映像を生成する手法を提案する。
論文 参考訳（メタデータ） (2023-11-15T18:59:56Z) - Refining 3D Human Texture Estimation from a Single Image [3.8761064607384195]
1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックと視覚に不可欠である。
本稿では,オフセットが深層ニューラルネットワークを介して学習される変形可能な畳み込みによって,入力を適応的にサンプリングするフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T19:53:50Z) - Shape, Pose, and Appearance from a Single Image via Bootstrapped
Radiance Field Inversion [54.151979979158085]
提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。
そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。
当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
論文 参考訳（メタデータ） (2022-11-21T17:42:42Z) - Photo-realistic Neural Domain Randomization [37.42597274391271]
ニューラルレンダリングの最近の進歩は、フォトリアリスティック・ニューラルドメインランダム化(PNDR)と呼ばれる新しい統一アプローチを可能にしていることを示す。
我々のアプローチはモジュラーであり、材料、照明、レンダリングのための異なるニューラルネットワークで構成されており、異なるキー画像生成コンポーネントを異なるパイプラインでランダム化することが可能である。
実験の結果,PNDRを用いたトレーニングにより,新たなシーンへの一般化が可能であり,実世界移動の面では芸術の状況を大きく上回っていることがわかった。
論文 参考訳（メタデータ） (2022-10-23T09:45:27Z) - CompNVS: Novel View Synthesis with Scene Completion [83.19663671794596]
本稿では,スパースグリッドに基づくニューラルシーン表現を用いた生成パイプラインを提案する。
画像特徴を3次元空間に符号化し、幾何学的完備化ネットワークとその後のテクスチャ塗布ネットワークを用いて、欠落した領域を外挿する。
フォトリアリスティック画像列は、整合性関連微分可能レンダリングによって最終的に得られる。
論文 参考訳（メタデータ） (2022-07-23T09:03:13Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳（メタデータ） (2022-07-12T17:52:04Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2022-03-29T17:59:15Z) - Photorealism in Driving Simulations: Blending Generative Adversarial
Image Synthesis with Rendering [0.0]
我々は、運転シミュレーションの視覚的忠実度を改善するために、ハイブリッドな生成型ニューラルネットワークパイプラインを導入する。
テクスチャのない単純なオブジェクトモデルからなる3次元シーンから2次元のセマンティック画像を生成する。
これらのセマンティックイメージは、現実の運転シーンで訓練された最先端のジェネレーティブ・アドリア・ネットワーク(GAN)を用いて、フォトリアリスティックなRGBイメージに変換される。
論文 参考訳（メタデータ） (2020-07-31T03:25:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。