論文の概要: HumanIBR: High Quality Image-based Rendering of Challenging Human
Performers using Sparse Views
- arxiv url: http://arxiv.org/abs/2201.08158v1
- Date: Thu, 20 Jan 2022 13:04:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-21 14:20:54.519959
- Title: HumanIBR: High Quality Image-based Rendering of Challenging Human
Performers using Sparse Views
- Title(参考訳): HumanIBR:スパースビューを用いたヒトパフォーマーの高品質画像ベースレンダリング
- Authors: Tiansong Zhou, Tao Yu, Ruizhi Shao, Kun Li
- Abstract要約: 本稿では,カメラビューのスパースセットを用いて,複雑な模様の服を着た人間のパフォーマーの斬新なビューレンダリングの課題に対処する手法であるHumanIBRを紹介する。
The proposed HumanIBR using a human reconstruction net with pixel-aligned space transformer and a render net that using geometry-guided pixel-wise feature integration。
- 参考スコア(独自算出の注目度): 11.643631701365152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we introduce HumanIBR, a method that addresses the challenge
of novel view rendering of human performers that wear clothes with complex
patterns using a sparse set of camera views. Some recent works have achieved
remarkable rendering quality on humans that wear pure clothes using sparse
views, but if the clothes have complex color patterns, the rendering quality is
still very low. To this end, the proposed HumanIBR uses a human reconstruction
net with pixel-aligned spatial transformer and a render net that uses
geometry-guided pixel-wise feature integration to achieve to goal of high
quality human reconstruction and rendering. The designed pixel-aligned spatial
transformer calculates the correlations between the input views, producing
human reconstruction results with high-frequency details presented in the input
views. Based on the reconstruction, the geometry-guided pixel-wise visibility
reasoning provides a guidance for multi-view feature integration, enabling the
render net to render high quality images on novel views. Unlike previous neural
rendering works that always need to train or fine-tune a separate network for
each scene or human, our method is a general framework that is able to
generalize to novel humans. Experiments show that our approach outperforms all
the prior general or human-specific works on both synthetic data and real-world
data.
- Abstract(参考訳): 本稿では,カメラビューの少ないセットを用いて,複雑なパターンの服装を身に着ける人の新しい視点レンダリングの課題に対処する手法であるhumanibrを提案する。
最近の作品では、まばらな景色で純衣を着る人間に顕著なレンダリング品質が達成されているが、複雑なカラーパターンの服の場合、レンダリング品質は依然として非常に低い。
この目的のために,提案するHumanIBRは,高画質な人間の再構成とレンダリングの目標を達成するために,幾何学誘導画素機能統合を用いたレンダリングネットと,画素整合型空間変換器を備える。
設計した画素整合空間変換器は、入力ビュー間の相関を計算し、入力ビューに提示される高周波のディテールで人間の再構成結果を生成する。
再構成に基づいて、幾何学誘導型画素視認性推論は、マルチビュー機能統合のためのガイダンスを提供し、レンダリングネットが新しいビューに高品質な画像をレンダリングできるようにする。
従来のニューラルネットワークのレンダリングでは、シーンごとに異なるネットワークを訓練したり、微調整したりする必要が常にあるが、本手法は、新しい人間に一般化できる汎用フレームワークである。
実験の結果,本手法は,合成データと実世界のデータの両方において,従来の一般や人為的な作業よりも優れていることがわかった。
関連論文リスト
- GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from
Multi-view Images [79.39247661907397]
本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。
具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
論文 参考訳(メタデータ) (2023-03-24T03:32:02Z) - Refining 3D Human Texture Estimation from a Single Image [3.8761064607384195]
1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックと視覚に不可欠である。
本稿では,オフセットが深層ニューラルネットワークを介して学習される変形可能な畳み込みによって,入力を適応的にサンプリングするフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T19:53:50Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - Generalizable Neural Performer: Learning Robust Radiance Fields for
Human Novel View Synthesis [52.720314035084215]
この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。
我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。
GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
論文 参考訳(メタデータ) (2022-04-25T17:14:22Z) - Human View Synthesis using a Single Sparse RGB-D Input [16.764379184593256]
本稿では,RGB-Dが疎い単一ビューセンサから取得した映像からリアルなレンダリングを生成するための,新しいビュー合成フレームワークを提案する。
エンハンサーネットワークは、元のビューから隠された領域でも全体の忠実さを活用し、細部まで細部までクリップレンダリングを生成する。
論文 参考訳(メタデータ) (2021-12-27T20:13:53Z) - NeuralHumanFVV: Real-Time Neural Volumetric Human Performance Rendering
using RGB Cameras [17.18904717379273]
没入型VR/AR体験には, 人間の活動の4次元再構築とレンダリングが不可欠である。
近年の進歩は、細かなマルチビューRGBカメラから入力画像の細部まで詳細な形状やテクスチャの再現には至っていない。
本稿では,人間の活動の質の高い幾何学的,フォトリアリスティックなテクスチャを任意の視点で生成する,リアルタイムのニューラルヒューマンパフォーマンスキャプチャとレンダリングシステムを提案する。
論文 参考訳(メタデータ) (2021-03-13T12:03:38Z) - Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。
私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
論文 参考訳(メタデータ) (2021-01-11T18:53:47Z) - Pose-Guided High-Resolution Appearance Transfer via Progressive Training [65.92031716146865]
前例のない画像解像度で、所定の参照外観をターゲットポーズに転送するためのポーズ誘導型外観伝達ネットワークを提案する。
我々のネットワークは、局所的な知覚喪失や局所的な識別など、密集した局所記述子を用いて詳細を精査する。
我々のモデルは高品質な画像を生成し、人間の衣服の移動などの有用な応用にさらに活用することができる。
論文 参考訳(メタデータ) (2020-08-27T03:18:44Z) - Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。
ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。
提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
論文 参考訳(メタデータ) (2020-08-18T06:33:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。