論文の概要: HDhuman: High-quality Human Performance Capture with Sparse Views
- arxiv url: http://arxiv.org/abs/2201.08158v2
- Date: Mon, 24 Jan 2022 12:49:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-25 11:56:08.089566
- Title: HDhuman: High-quality Human Performance Capture with Sparse Views
- Title（参考訳）: hdhuman: まばらなビューでハイクオリティなヒューマンパフォーマンスキャプチャ
- Authors: Tiansong Zhou, Tao Yu, Ruizhi Shao, Kun Li
- Abstract要約: HD Humanは、カメラビューのスパースセットを使用して複雑なテクスチャパターンの服を着た人間のパフォーマーの斬新なビューレンダリングの課題に対処する手法である。
提案したHD Humanは,人間の再構成ネットワークと,幾何学誘導型画素機能統合を用いたレンダリングネットワークを用いている。
- 参考スコア（独自算出の注目度）: 11.643631701365152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we introduce HDhuman, a method that addresses the challenge of
novel view rendering of human performers that wear clothes with complex texture
patterns using a sparse set of camera views. Although some recent works have
achieved remarkable rendering quality on humans with relatively uniform
textures using sparse views, the rendering quality remains limited when dealing
with complex texture patterns as they are unable to recover the high-frequency
geometry details that observed in the input views. To this end, the proposed
HDhuman uses a human reconstruction network with a pixel-aligned spatial
transformer and a rendering network that uses geometry-guided pixel-wise
feature integration to achieve high-quality human reconstruction and rendering.
The designed pixel-aligned spatial transformer calculates the correlations
between the input views, producing human reconstruction results with
high-frequency details. Based on the surface reconstruction results, the
geometry-guided pixel-wise visibility reasoning provides guidance for
multi-view feature integration, enabling the rendering network to render
high-quality images at 2k resolution on novel views. Unlike previous neural
rendering works that always need to train or fine-tune an independent network
for a different scene, our method is a general framework that is able to
generalize to novel subjects. Experiments show that our approach outperforms
all the prior generic or specific methods on both synthetic data and real-world
data.
- Abstract（参考訳）: 本稿では、カメラビューのスパースセットを用いて、複雑なテクスチャパターンの服を着た人間のパフォーマーの新たなビューレンダリングの課題を解決する方法であるHD Humanを紹介する。
近年の研究では、比較的均一なテクスチャを持つ人間のレンダリング品質が向上しているが、入力ビューで観察された高頻度な幾何学的詳細を復元できないため、複雑なテクスチャパターンを扱う場合のレンダリング品質は限られている。
この目的のために,提案したHD Humanは,高画質な人物再構成とレンダリングを実現するために,幾何学誘導型画素ワイド機能統合を用いたレンダリングネットワークと,画素整合型空間変換器を備える。
設計した画素整合型空間変換器は入力ビュー間の相関を計算し、高周波の詳細で人間の再構成結果を生成する。
表面再構成結果に基づいて、幾何誘導型画素視認性推論により、マルチビュー機能統合のためのガイダンスが提供され、レンダリングネットワークは、新しいビューで2k解像度で高品質な画像をレンダリングできる。
異なるシーンの独立したネットワークを常にトレーニングしたり、微調整したりする必要のある従来のニューラルレンダリングとは異なり、本手法は、新しい主題に一般化できる汎用フレームワークである。
実験の結果,本手法は,合成データと実世界のデータの両方において,従来の汎用的あるいは特定の手法よりも優れていることがわかった。
関連論文リスト
- MaRINeR: Enhancing Novel Views by Matching Rendered Images with Nearby References [49.71130133080821]
MaRINeRは、近くのマッピング画像の情報を活用して、ターゲット視点のレンダリングを改善する方法である。
暗黙のシーン表現と暗黙のシーン表現の両方から、定量的な指標と定性的な例のレンダリングの改善を示す。
論文 参考訳（メタデータ） (2024-07-18T17:50:03Z) - HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。
本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。
実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
論文 参考訳（メタデータ） (2024-05-18T11:49:09Z) - GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from
Multi-view Images [79.39247661907397]
本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。
具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
論文 参考訳（メタデータ） (2023-03-24T03:32:02Z) - Refining 3D Human Texture Estimation from a Single Image [3.8761064607384195]
1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックと視覚に不可欠である。
本稿では,オフセットが深層ニューラルネットワークを介して学習される変形可能な畳み込みによって,入力を適応的にサンプリングするフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T19:53:50Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳（メタデータ） (2022-11-28T18:59:52Z) - Human View Synthesis using a Single Sparse RGB-D Input [16.764379184593256]
本稿では,RGB-Dが疎い単一ビューセンサから取得した映像からリアルなレンダリングを生成するための,新しいビュー合成フレームワークを提案する。
エンハンサーネットワークは、元のビューから隠された領域でも全体の忠実さを活用し、細部まで細部までクリップレンダリングを生成する。
論文 参考訳（メタデータ） (2021-12-27T20:13:53Z) - NeuralHumanFVV: Real-Time Neural Volumetric Human Performance Rendering
using RGB Cameras [17.18904717379273]
没入型VR/AR体験には, 人間の活動の4次元再構築とレンダリングが不可欠である。
近年の進歩は、細かなマルチビューRGBカメラから入力画像の細部まで詳細な形状やテクスチャの再現には至っていない。
本稿では,人間の活動の質の高い幾何学的,フォトリアリスティックなテクスチャを任意の視点で生成する,リアルタイムのニューラルヒューマンパフォーマンスキャプチャとレンダリングシステムを提案する。
論文 参考訳（メタデータ） (2021-03-13T12:03:38Z) - Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。
私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
論文 参考訳（メタデータ） (2021-01-11T18:53:47Z) - Pose-Guided High-Resolution Appearance Transfer via Progressive Training [65.92031716146865]
前例のない画像解像度で、所定の参照外観をターゲットポーズに転送するためのポーズ誘導型外観伝達ネットワークを提案する。
我々のネットワークは、局所的な知覚喪失や局所的な識別など、密集した局所記述子を用いて詳細を精査する。
我々のモデルは高品質な画像を生成し、人間の衣服の移動などの有用な応用にさらに活用することができる。
論文 参考訳（メタデータ） (2020-08-27T03:18:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。