論文の概要: HDhuman: High-quality Human Novel-view Rendering from Sparse Views
- arxiv url: http://arxiv.org/abs/2201.08158v3
- Date: Sat, 21 Oct 2023 15:11:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 15:28:43.368772
- Title: HDhuman: High-quality Human Novel-view Rendering from Sparse Views
- Title(参考訳): hdhuman: スパースビューからの高品質な人間のノベルビューレンダリング
- Authors: Tiansong Zhou, Jing Huang, Tao Yu, Ruizhi Shao, Kun Li
- Abstract要約: 本稿では,人間の再構成ネットワークと画素整合型空間変換器,および幾何学誘導型画素機能統合を用いたレンダリングネットワークを提案する。
提案手法は, 合成データと実世界のデータの両方において, 従来の一般的な手法や特定の手法よりも優れている。
- 参考スコア(独自算出の注目度): 15.810495442598963
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we aim to address the challenge of novel view rendering of
human performers who wear clothes with complex texture patterns using a sparse
set of camera views. Although some recent works have achieved remarkable
rendering quality on humans with relatively uniform textures using sparse
views, the rendering quality remains limited when dealing with complex texture
patterns as they are unable to recover the high-frequency geometry details that
are observed in the input views. To this end, we propose HDhuman, which uses a
human reconstruction network with a pixel-aligned spatial transformer and a
rendering network with geometry-guided pixel-wise feature integration to
achieve high-quality human reconstruction and rendering. The designed
pixel-aligned spatial transformer calculates the correlations between the input
views and generates human reconstruction results with high-frequency details.
Based on the surface reconstruction results, the geometry-guided pixel-wise
visibility reasoning provides guidance for multi-view feature integration,
enabling the rendering network to render high-quality images at 2k resolution
on novel views. Unlike previous neural rendering works that always need to
train or fine-tune an independent network for a different scene, our method is
a general framework that is able to generalize to novel subjects. Experiments
show that our approach outperforms all the prior generic or specific methods on
both synthetic data and real-world data.
- Abstract(参考訳): 本稿では,カメラビューのスパースセットを用いて,複雑なテクスチャパターンの衣服を着る人間のパフォーマーの斬新なビューレンダリングの課題に対処することを目的とする。
最近の作品では、比較的均一なテクスチャを持つ人間のレンダリング品質が、比較的スパースビューを用いて達成されているが、入力ビューで観察される高周波の幾何学的詳細を復元できないため、複雑なテクスチャパターンを扱う場合、レンダリング品質は限られている。
そこで本研究では,高画質な人物再構成・レンダリングを実現するために,画素整列型空間変換器を備えた人間再構成ネットワークと,幾何学誘導型画素機能統合を用いたレンダリングネットワークを提案する。
設計した画素整合空間変換器は、入力ビュー間の相関を計算し、高周波のディテールでヒューマンリコンストラクション結果を生成する。
表面再構成結果に基づいて、幾何誘導型画素視認性推論により、マルチビュー機能統合のためのガイダンスが提供され、レンダリングネットワークは、新しいビューで2k解像度で高品質な画像をレンダリングできる。
異なるシーンの独立したネットワークを常にトレーニングしたり、微調整したりする必要のある従来のニューラルレンダリングとは異なり、本手法は、新しい主題に一般化できる汎用フレームワークである。
実験の結果,本手法は,合成データと実世界のデータの両方において,従来の汎用的あるいは特定の手法よりも優れていることがわかった。
関連論文リスト
- MaRINeR: Enhancing Novel Views by Matching Rendered Images with Nearby References [49.71130133080821]
MaRINeRは、近くのマッピング画像の情報を活用して、ターゲット視点のレンダリングを改善する方法である。
暗黙のシーン表現と暗黙のシーン表現の両方から、定量的な指標と定性的な例のレンダリングの改善を示す。
論文 参考訳(メタデータ) (2024-07-18T17:50:03Z) - HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。
本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。
実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
論文 参考訳(メタデータ) (2024-05-18T11:49:09Z) - GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from
Multi-view Images [79.39247661907397]
本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。
具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
論文 参考訳(メタデータ) (2023-03-24T03:32:02Z) - Refining 3D Human Texture Estimation from a Single Image [3.8761064607384195]
1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックと視覚に不可欠である。
本稿では,オフセットが深層ニューラルネットワークを介して学習される変形可能な畳み込みによって,入力を適応的にサンプリングするフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T19:53:50Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - Human View Synthesis using a Single Sparse RGB-D Input [16.764379184593256]
本稿では,RGB-Dが疎い単一ビューセンサから取得した映像からリアルなレンダリングを生成するための,新しいビュー合成フレームワークを提案する。
エンハンサーネットワークは、元のビューから隠された領域でも全体の忠実さを活用し、細部まで細部までクリップレンダリングを生成する。
論文 参考訳(メタデータ) (2021-12-27T20:13:53Z) - NeuralHumanFVV: Real-Time Neural Volumetric Human Performance Rendering
using RGB Cameras [17.18904717379273]
没入型VR/AR体験には, 人間の活動の4次元再構築とレンダリングが不可欠である。
近年の進歩は、細かなマルチビューRGBカメラから入力画像の細部まで詳細な形状やテクスチャの再現には至っていない。
本稿では,人間の活動の質の高い幾何学的,フォトリアリスティックなテクスチャを任意の視点で生成する,リアルタイムのニューラルヒューマンパフォーマンスキャプチャとレンダリングシステムを提案する。
論文 参考訳(メタデータ) (2021-03-13T12:03:38Z) - Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。
私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
論文 参考訳(メタデータ) (2021-01-11T18:53:47Z) - Pose-Guided High-Resolution Appearance Transfer via Progressive Training [65.92031716146865]
前例のない画像解像度で、所定の参照外観をターゲットポーズに転送するためのポーズ誘導型外観伝達ネットワークを提案する。
我々のネットワークは、局所的な知覚喪失や局所的な識別など、密集した局所記述子を用いて詳細を精査する。
我々のモデルは高品質な画像を生成し、人間の衣服の移動などの有用な応用にさらに活用することができる。
論文 参考訳(メタデータ) (2020-08-27T03:18:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。