論文の概要: Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos

• arxiv url: http://arxiv.org/abs/2303.08808v1
• Date: Wed, 15 Mar 2023 17:57:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 12:45:02.745676
• Title: Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos
• Title（参考訳）: メッシュの逆襲:rgbビデオによる高速で効率的な人間の再構築
• Authors: Rohit Jena, Pratik Chaudhari, James Gee, Ganesh Iyer, Siddharth Choudhary, Brandon M. Smith
• Abstract要約: 多くの方法は、遅延レンダリング、NeRF、暗黙の手法を用いて、人間の衣服を表現している。 SMPL+Dメッシュの最適化と,効率的な多面的テクスチャ表現による対向的視点を提供する。 我々は、NeRF法と比較して、新規ポーズ合成の競争力のある新規ビュー合成と改善を示す。
• 参考スコア（独自算出の注目度）: 15.746993448290175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human reconstruction and synthesis from monocular RGB videos is a challenging problem due to clothing, occlusion, texture discontinuities and sharpness, and framespecific pose changes. Many methods employ deferred rendering, NeRFs and implicit methods to represent clothed humans, on the premise that mesh-based representations cannot capture complex clothing and textures from RGB, silhouettes, and keypoints alone. We provide a counter viewpoint to this fundamental premise by optimizing a SMPL+D mesh and an efficient, multi-resolution texture representation using only RGB images, binary silhouettes and sparse 2D keypoints. Experimental results demonstrate that our approach is more capable of capturing geometric details compared to visual hull, mesh-based methods. We show competitive novel view synthesis and improvements in novel pose synthesis compared to NeRF-based methods, which introduce noticeable, unwanted artifacts. By restricting the solution space to the SMPL+D model combined with differentiable rendering, we obtain dramatic speedups in compute, training times (up to 24x) and inference times (up to 192x). Our method therefore can be used as is or as a fast initialization to NeRF-based methods.
• Abstract（参考訳）: 単眼のRGBビデオからの人間の再構築と合成は、衣服、オクルージョン、テクスチャの不連続性、シャープネス、フレーム固有のポーズの変化など、難しい問題である。 メッシュベースの表現では、RGB、シルエット、キーポイントのみから複雑な衣服やテクスチャをキャプチャできないという前提で、遅延レンダリング、NeRF、暗黙の手法が採用されている。 SMPL+Dメッシュを最適化し,RGB画像,バイナリシルエット,スパース2Dキーポイントのみを用いて,効率的な多面的テクスチャ表現を行うことにより,この基本的な前提に反する視点を提供する。 実験により,我々の手法は,メッシュ方式の視覚的包絡よりも幾何的細部を捉えることができることが示された。 目立たない望ましくないアーティファクトを導入するnrf法と比較して,新しいポーズ合成における競合的な新しい視点合成と改善を示す。 SMPL+Dモデルに対する解空間を微分可能レンダリングと組み合わせることで、計算、トレーニング時間(最大24倍)、推論時間(最大192倍)の劇的な高速化が得られる。 そこで本手法は,NeRF法を高速に初期化することができる。

関連論文リスト

• Multispectral Texture Synthesis using RGB Convolutional Neural Networks [2.3213238782019316]
  最先端のRGBテクスチャ合成アルゴリズムは、深い特徴の統計によって計算されるスタイル距離に依存している。 本稿では,これらの手法をマルチスペクトルイメージングに拡張する2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T13:49:54Z)
• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
  GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• ConTex-Human: Free-View Rendering of Human from a Single Image with Texture-Consistent Synthesis [49.28239918969784]
  テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。 また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
  論文  参考訳（メタデータ） (2023-11-28T13:55:53Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• FastHuman: Reconstructing High-Quality Clothed Human in Minutes [18.643091757385626]
  高品質な人体形状を数分で最適化する手法を提案する。 本手法はメッシュベースのパッチワープ手法を用いて,マルチビュー光度整合性を確保する。 提案手法は,合成データセットと実世界のデータセットの両方において有望な結果を示した。
  論文  参考訳（メタデータ） (2022-11-26T05:16:39Z)
• Differentiable Point-Based Radiance Fields for Efficient View Synthesis [57.56579501055479]
  本稿では,効率的な新規ビュー合成のための微分可能レンダリングアルゴリズムを提案する。 我々の手法は、トレーニングと推論の両方において、NeRFよりも最大300倍高速である。 ダイナミックなシーンでは,STNeRFよりも2桁早く,ほぼインタラクティブなレートでレンダリングを行う。
  論文  参考訳（メタデータ） (2022-05-28T04:36:13Z)
• View Synthesis with Sculpted Neural Points [64.40344086212279]
  暗黙の神経表現は印象的な視覚的品質を達成したが、計算効率に欠点がある。 本稿では,点雲を用いたビュー合成を行う新しい手法を提案する。 レンダリング速度を100倍以上速くしながら、NeRFよりも視覚的品質を向上する最初のポイントベース手法である。
  論文  参考訳（メタデータ） (2022-05-12T03:54:35Z)
• Deblur-NeRF: Neural Radiance Fields from Blurry Images [30.709331199256376]
  ぼやけた入力から鋭いNeRFを復元する最初の方法であるDe-NeRFを提案する。 我々は、ぼやけの過程をシミュレートしてぼやけたビューを再構築する分析・バイ・ブルーのアプローチを採用する。 実写シーンにおいて最もよく見られる2種類のぼかしという,カメラモーションのぼかしとデフォーカスのぼかしの両方で,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2021-11-29T01:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。