論文の概要: Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos

• arxiv url: http://arxiv.org/abs/2303.08808v1
• Date: Wed, 15 Mar 2023 17:57:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 12:45:02.745676
• Title: Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos
• Title（参考訳）: メッシュの逆襲:rgbビデオによる高速で効率的な人間の再構築
• Authors: Rohit Jena, Pratik Chaudhari, James Gee, Ganesh Iyer, Siddharth Choudhary, Brandon M. Smith
• Abstract要約: 多くの方法は、遅延レンダリング、NeRF、暗黙の手法を用いて、人間の衣服を表現している。 SMPL+Dメッシュの最適化と,効率的な多面的テクスチャ表現による対向的視点を提供する。 我々は、NeRF法と比較して、新規ポーズ合成の競争力のある新規ビュー合成と改善を示す。
• 参考スコア（独自算出の注目度）: 15.746993448290175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human reconstruction and synthesis from monocular RGB videos is a challenging problem due to clothing, occlusion, texture discontinuities and sharpness, and framespecific pose changes. Many methods employ deferred rendering, NeRFs and implicit methods to represent clothed humans, on the premise that mesh-based representations cannot capture complex clothing and textures from RGB, silhouettes, and keypoints alone. We provide a counter viewpoint to this fundamental premise by optimizing a SMPL+D mesh and an efficient, multi-resolution texture representation using only RGB images, binary silhouettes and sparse 2D keypoints. Experimental results demonstrate that our approach is more capable of capturing geometric details compared to visual hull, mesh-based methods. We show competitive novel view synthesis and improvements in novel pose synthesis compared to NeRF-based methods, which introduce noticeable, unwanted artifacts. By restricting the solution space to the SMPL+D model combined with differentiable rendering, we obtain dramatic speedups in compute, training times (up to 24x) and inference times (up to 192x). Our method therefore can be used as is or as a fast initialization to NeRF-based methods.
• Abstract（参考訳）: 単眼のRGBビデオからの人間の再構築と合成は、衣服、オクルージョン、テクスチャの不連続性、シャープネス、フレーム固有のポーズの変化など、難しい問題である。 メッシュベースの表現では、RGB、シルエット、キーポイントのみから複雑な衣服やテクスチャをキャプチャできないという前提で、遅延レンダリング、NeRF、暗黙の手法が採用されている。 SMPL+Dメッシュを最適化し,RGB画像,バイナリシルエット,スパース2Dキーポイントのみを用いて,効率的な多面的テクスチャ表現を行うことにより,この基本的な前提に反する視点を提供する。 実験により,我々の手法は,メッシュ方式の視覚的包絡よりも幾何的細部を捉えることができることが示された。 目立たない望ましくないアーティファクトを導入するnrf法と比較して,新しいポーズ合成における競合的な新しい視点合成と改善を示す。 SMPL+Dモデルに対する解空間を微分可能レンダリングと組み合わせることで、計算、トレーニング時間(最大24倍)、推論時間(最大192倍)の劇的な高速化が得られる。 そこで本手法は,NeRF法を高速に初期化することができる。

関連論文リスト

• Few-Shot Multi-Human Neural Rendering Using Geometry Constraints [8.819403814092865]
  本稿では,複数の人物によるシーンの形状と放射率を復元する手法を提案する。 暗黙の神経表現を用いた既存のアプローチは、正確な幾何学と外観をもたらす印象的な結果を得た。 本稿では,その課題に対処するニューラル暗黙的再構築手法を提案する。
  論文  参考訳（メタデータ） (2025-02-11T00:10:58Z)
• Real-time Free-view Human Rendering from Sparse-view RGB Videos using Double Unprojected Textures [87.80984588545589]
  スパースビューのRGB入力からのリアルタイム自由視点人体レンダリングは、センサー不足と厳しい時間予算のために難しい課題である。 最近の手法では、テクスチャ空間で動作する2次元CNNを活用して、レンダリングプリミティブを学習している。 本稿では,2重非プロジェクテッドテクスチャについて述べる。
  論文  参考訳（メタデータ） (2024-12-17T18:57:38Z)
• NeRF-Texture: Synthesizing Neural Radiance Field Textures [77.24205024987414]
  与えられた多視点画像からテクスチャを捕捉・合成するためのニューラルレージアンス場(NeRF)を用いた新しいテクスチャ合成法を提案する。 提案したNeRFテクスチャ表現では、微細な幾何学的詳細を持つシーンをメソ構造テクスチャと基盤形状に分割する。 我々は潜伏特徴のパッチマッチングによってNeRFベースのテクスチャを合成できる。
  論文  参考訳（メタデータ） (2024-12-13T09:41:48Z)
• Hybrid Explicit Representation for Ultra-Realistic Head Avatars [55.829497543262214]
  我々は,超現実的な頭部アバターを作成し,それをリアルタイムにレンダリングする新しい手法を提案する。 UVマップされた3Dメッシュは滑らかな表面のシャープでリッチなテクスチャを捉えるのに使われ、3Dガウス格子は複雑な幾何学構造を表現するために用いられる。 モデル化された結果が最先端のアプローチを上回る実験を行ないました。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• ConTex-Human: Free-View Rendering of Human from a Single Image with Texture-Consistent Synthesis [49.28239918969784]
  テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。 また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
  論文  参考訳（メタデータ） (2023-11-28T13:55:53Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• FastHuman: Reconstructing High-Quality Clothed Human in Minutes [18.643091757385626]
  高品質な人体形状を数分で最適化する手法を提案する。 本手法はメッシュベースのパッチワープ手法を用いて,マルチビュー光度整合性を確保する。 提案手法は,合成データセットと実世界のデータセットの両方において有望な結果を示した。
  論文  参考訳（メタデータ） (2022-11-26T05:16:39Z)
• View Synthesis with Sculpted Neural Points [64.40344086212279]
  暗黙の神経表現は印象的な視覚的品質を達成したが、計算効率に欠点がある。 本稿では,点雲を用いたビュー合成を行う新しい手法を提案する。 レンダリング速度を100倍以上速くしながら、NeRFよりも視覚的品質を向上する最初のポイントベース手法である。
  論文  参考訳（メタデータ） (2022-05-12T03:54:35Z)
• Deblur-NeRF: Neural Radiance Fields from Blurry Images [30.709331199256376]
  ぼやけた入力から鋭いNeRFを復元する最初の方法であるDe-NeRFを提案する。 我々は、ぼやけの過程をシミュレートしてぼやけたビューを再構築する分析・バイ・ブルーのアプローチを採用する。 実写シーンにおいて最もよく見られる2種類のぼかしという,カメラモーションのぼかしとデフォーカスのぼかしの両方で,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2021-11-29T01:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。