論文の概要: HumanIBR: High Quality Image-based Rendering of Challenging Human Performers using Sparse Views

• arxiv url: http://arxiv.org/abs/2201.08158v1
• Date: Thu, 20 Jan 2022 13:04:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-21 14:20:54.519959
• Title: HumanIBR: High Quality Image-based Rendering of Challenging Human Performers using Sparse Views
• Title（参考訳）: HumanIBR:スパースビューを用いたヒトパフォーマーの高品質画像ベースレンダリング
• Authors: Tiansong Zhou, Tao Yu, Ruizhi Shao, Kun Li
• Abstract要約: 本稿では,カメラビューのスパースセットを用いて,複雑な模様の服を着た人間のパフォーマーの斬新なビューレンダリングの課題に対処する手法であるHumanIBRを紹介する。 The proposed HumanIBR using a human reconstruction net with pixel-aligned space transformer and a render net that using geometry-guided pixel-wise feature integration。
• 参考スコア（独自算出の注目度）: 11.643631701365152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce HumanIBR, a method that addresses the challenge of novel view rendering of human performers that wear clothes with complex patterns using a sparse set of camera views. Some recent works have achieved remarkable rendering quality on humans that wear pure clothes using sparse views, but if the clothes have complex color patterns, the rendering quality is still very low. To this end, the proposed HumanIBR uses a human reconstruction net with pixel-aligned spatial transformer and a render net that uses geometry-guided pixel-wise feature integration to achieve to goal of high quality human reconstruction and rendering. The designed pixel-aligned spatial transformer calculates the correlations between the input views, producing human reconstruction results with high-frequency details presented in the input views. Based on the reconstruction, the geometry-guided pixel-wise visibility reasoning provides a guidance for multi-view feature integration, enabling the render net to render high quality images on novel views. Unlike previous neural rendering works that always need to train or fine-tune a separate network for each scene or human, our method is a general framework that is able to generalize to novel humans. Experiments show that our approach outperforms all the prior general or human-specific works on both synthetic data and real-world data.
• Abstract（参考訳）: 本稿では,カメラビューの少ないセットを用いて,複雑なパターンの服装を身に着ける人の新しい視点レンダリングの課題に対処する手法であるhumanibrを提案する。 最近の作品では、まばらな景色で純衣を着る人間に顕著なレンダリング品質が達成されているが、複雑なカラーパターンの服の場合、レンダリング品質は依然として非常に低い。 この目的のために,提案するHumanIBRは,高画質な人間の再構成とレンダリングの目標を達成するために,幾何学誘導画素機能統合を用いたレンダリングネットと,画素整合型空間変換器を備える。 設計した画素整合空間変換器は、入力ビュー間の相関を計算し、入力ビューに提示される高周波のディテールで人間の再構成結果を生成する。 再構成に基づいて、幾何学誘導型画素視認性推論は、マルチビュー機能統合のためのガイダンスを提供し、レンダリングネットが新しいビューに高品質な画像をレンダリングできるようにする。 従来のニューラルネットワークのレンダリングでは、シーンごとに異なるネットワークを訓練したり、微調整したりする必要が常にあるが、本手法は、新しい人間に一般化できる汎用フレームワークである。 実験の結果,本手法は,合成データと実世界のデータの両方において,従来の一般や人為的な作業よりも優れていることがわかった。

関連論文リスト

• MaRINeR: Enhancing Novel Views by Matching Rendered Images with Nearby References [49.71130133080821]
  MaRINeRは、近くのマッピング画像の情報を活用して、ターゲット視点のレンダリングを改善する方法である。 暗黙のシーン表現と暗黙のシーン表現の両方から、定量的な指標と定性的な例のレンダリングの改善を示す。
  論文  参考訳（メタデータ） (2024-07-18T17:50:03Z)
• HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
  本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。 本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。 実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
  論文  参考訳（メタデータ） (2024-05-18T11:49:09Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• Refining 3D Human Texture Estimation from a Single Image [3.8761064607384195]
  1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックと視覚に不可欠である。 本稿では,オフセットが深層ニューラルネットワークを介して学習される変形可能な畳み込みによって,入力を適応的にサンプリングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T19:53:50Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• Human View Synthesis using a Single Sparse RGB-D Input [16.764379184593256]
  本稿では,RGB-Dが疎い単一ビューセンサから取得した映像からリアルなレンダリングを生成するための,新しいビュー合成フレームワークを提案する。 エンハンサーネットワークは、元のビューから隠された領域でも全体の忠実さを活用し、細部まで細部までクリップレンダリングを生成する。
  論文  参考訳（メタデータ） (2021-12-27T20:13:53Z)
• NeuralHumanFVV: Real-Time Neural Volumetric Human Performance Rendering using RGB Cameras [17.18904717379273]
  没入型VR/AR体験には, 人間の活動の4次元再構築とレンダリングが不可欠である。 近年の進歩は、細かなマルチビューRGBカメラから入力画像の細部まで詳細な形状やテクスチャの再現には至っていない。 本稿では,人間の活動の質の高い幾何学的,フォトリアリスティックなテクスチャを任意の視点で生成する,リアルタイムのニューラルヒューマンパフォーマンスキャプチャとレンダリングシステムを提案する。
  論文  参考訳（メタデータ） (2021-03-13T12:03:38Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)
• Pose-Guided High-Resolution Appearance Transfer via Progressive Training [65.92031716146865]
  前例のない画像解像度で、所定の参照外観をターゲットポーズに転送するためのポーズ誘導型外観伝達ネットワークを提案する。 我々のネットワークは、局所的な知覚喪失や局所的な識別など、密集した局所記述子を用いて詳細を精査する。 我々のモデルは高品質な画像を生成し、人間の衣服の移動などの有用な応用にさらに活用することができる。
  論文  参考訳（メタデータ） (2020-08-27T03:18:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。