論文の概要: Real-time Free-view Human Rendering from Sparse-view RGB Videos using Double Unprojected Textures

• arxiv url: http://arxiv.org/abs/2412.13183v1
• Date: Tue, 17 Dec 2024 18:57:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:58:19.217976
• Title: Real-time Free-view Human Rendering from Sparse-view RGB Videos using Double Unprojected Textures
• Title（参考訳）: 二重投影型テクスチャを用いたスパースビューRGB映像からのリアルタイム自由視点人間レンダリング
• Authors: Guoxing Sun, Rishabh Dabral, Heming Zhu, Pascal Fua, Christian Theobalt, Marc Habermann,
• Abstract要約: スパースビューのRGB入力からのリアルタイム自由視点人体レンダリングは、センサー不足と厳しい時間予算のために難しい課題である。 最近の手法では、テクスチャ空間で動作する2次元CNNを活用して、レンダリングプリミティブを学習している。 本稿では,2重非プロジェクテッドテクスチャについて述べる。
• 参考スコア（独自算出の注目度）: 87.80984588545589
• License:
• Abstract: Real-time free-view human rendering from sparse-view RGB inputs is a challenging task due to the sensor scarcity and the tight time budget. To ensure efficiency, recent methods leverage 2D CNNs operating in texture space to learn rendering primitives. However, they either jointly learn geometry and appearance, or completely ignore sparse image information for geometry estimation, significantly harming visual quality and robustness to unseen body poses. To address these issues, we present Double Unprojected Textures, which at the core disentangles coarse geometric deformation estimation from appearance synthesis, enabling robust and photorealistic 4K rendering in real-time. Specifically, we first introduce a novel image-conditioned template deformation network, which estimates the coarse deformation of the human template from a first unprojected texture. This updated geometry is then used to apply a second and more accurate texture unprojection. The resulting texture map has fewer artifacts and better alignment with input views, which benefits our learning of finer-level geometry and appearance represented by Gaussian splats. We validate the effectiveness and efficiency of the proposed method in quantitative and qualitative experiments, which significantly surpasses other state-of-the-art methods.
• Abstract（参考訳）: スパースビューのRGB入力からのリアルタイム自由視点人体レンダリングは、センサー不足と厳しい時間予算のために難しい課題である。 近年の手法では、テクスチャ空間で動作する2次元CNNを利用してレンダリングプリミティブを学習している。 しかし、幾何学と外観を共同で学習するか、幾何学的推定のためのスパース画像情報を完全に無視し、見えない身体のポーズに対する視覚的品質とロバスト性を著しく損なう。 これらの問題に対処するため,コア部では外観合成から粗い幾何学的変形推定を行うダブル・アンプロジェクテッド・テクスチャ(Double Unprojected Textures)が提案され,ロバストかつフォトリアリスティックな4Kレンダリングをリアルタイムに実現している。 具体的には,第1の未投影テクスチャからヒトテンプレートの粗い変形を推定する,新しい画像条件付きテンプレート変形ネットワークを提案する。 この改良された幾何学は、第二のより正確なテクスチャ・アンプロジェクションを適用するために使われる。 得られたテクスチャマップは、アーティファクトが少なく、入力ビューとの整合性が良く、ガウススプレートで表されるより詳細な幾何学と外観の学習に役立ちます。 提案手法の有効性と有効性を定量的および定性的な実験で検証し,他の最先端手法を著しく上回っている。

関連論文リスト

• Shape-biased Texture Agnostic Representations for Improved Textureless and Metallic Object Detection and 6D Pose Estimation [9.227450931458907]
  テクスチャレスおよびメタリックオブジェクトは、CNNの視覚的手がかりやテクスチャバイアスが少ないため、依然として重要な課題である。 形状バイアスをCNNトレーニングに誘導する手法を提案する。 この手法は、シームレスなデータレンダリングと、一貫性のあるテクスチャ面のないトレーニングデータの結果を可能にする。
  論文  参考訳（メタデータ） (2024-02-07T14:18:19Z)
• Neural Texture Puppeteer: A Framework for Neural Geometry and Texture Rendering of Articulated Shapes, Enabling Re-Identification at Interactive Speed [2.8544822698499255]
  我々はニューラルテクスチュア Puppeteer と呼ぶテクスチャ化された形状のためのニューラルレンダリングパイプラインを提案する。 テクスチャオートエンコーダは、この情報を利用して、テクスチャ化された画像をグローバルな潜在コードにエンコードする。 本手法は,データに制限がある絶滅危惧種に適用できる。
  論文  参考訳（メタデータ） (2023-11-28T10:51:05Z)
• Mesh2Tex: Generating Mesh Textures from Image Queries [45.32242590651395]
  特に、実際の物体の画像からのテクスチャ化されたステージテクスチャは、実際の画像観察と一致する。 本稿では,非相関な3次元オブジェクト形状のコレクションからオブジェクト形状を学習するMesh2Texを紹介する。
  論文  参考訳（メタデータ） (2023-04-12T13:58:25Z)
• Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement [78.48648360358193]
  画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。 我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。 ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
  論文  参考訳（メタデータ） (2023-03-03T17:14:44Z)
• TexPose: Neural Texture Learning for Self-Supervised 6D Object Pose Estimation [55.94900327396771]
  合成データから6次元オブジェクトポーズ推定のためのニューラルネットワークによるテクスチャ学習を提案する。 実画像からオブジェクトの現実的なテクスチャを予測することを学ぶ。 画素完全合成データからポーズ推定を学習する。
  論文  参考訳（メタデータ） (2022-12-25T13:36:32Z)
• FastHuman: Reconstructing High-Quality Clothed Human in Minutes [18.643091757385626]
  高品質な人体形状を数分で最適化する手法を提案する。 本手法はメッシュベースのパッチワープ手法を用いて,マルチビュー光度整合性を確保する。 提案手法は,合成データセットと実世界のデータセットの両方において有望な結果を示した。
  論文  参考訳（メタデータ） (2022-11-26T05:16:39Z)
• NeuralHumanFVV: Real-Time Neural Volumetric Human Performance Rendering using RGB Cameras [17.18904717379273]
  没入型VR/AR体験には, 人間の活動の4次元再構築とレンダリングが不可欠である。 近年の進歩は、細かなマルチビューRGBカメラから入力画像の細部まで詳細な形状やテクスチャの再現には至っていない。 本稿では,人間の活動の質の高い幾何学的,フォトリアリスティックなテクスチャを任意の視点で生成する,リアルタイムのニューラルヒューマンパフォーマンスキャプチャとレンダリングシステムを提案する。
  論文  参考訳（メタデータ） (2021-03-13T12:03:38Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。