論文の概要: Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos

• arxiv url: http://arxiv.org/abs/2303.08808v1
• Date: Wed, 15 Mar 2023 17:57:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 12:45:02.745676
• Title: Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos
• Title（参考訳）: メッシュの逆襲:rgbビデオによる高速で効率的な人間の再構築
• Authors: Rohit Jena, Pratik Chaudhari, James Gee, Ganesh Iyer, Siddharth Choudhary, Brandon M. Smith
• Abstract要約: 多くの方法は、遅延レンダリング、NeRF、暗黙の手法を用いて、人間の衣服を表現している。 SMPL+Dメッシュの最適化と,効率的な多面的テクスチャ表現による対向的視点を提供する。 我々は、NeRF法と比較して、新規ポーズ合成の競争力のある新規ビュー合成と改善を示す。
• 参考スコア（独自算出の注目度）: 15.746993448290175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human reconstruction and synthesis from monocular RGB videos is a challenging problem due to clothing, occlusion, texture discontinuities and sharpness, and framespecific pose changes. Many methods employ deferred rendering, NeRFs and implicit methods to represent clothed humans, on the premise that mesh-based representations cannot capture complex clothing and textures from RGB, silhouettes, and keypoints alone. We provide a counter viewpoint to this fundamental premise by optimizing a SMPL+D mesh and an efficient, multi-resolution texture representation using only RGB images, binary silhouettes and sparse 2D keypoints. Experimental results demonstrate that our approach is more capable of capturing geometric details compared to visual hull, mesh-based methods. We show competitive novel view synthesis and improvements in novel pose synthesis compared to NeRF-based methods, which introduce noticeable, unwanted artifacts. By restricting the solution space to the SMPL+D model combined with differentiable rendering, we obtain dramatic speedups in compute, training times (up to 24x) and inference times (up to 192x). Our method therefore can be used as is or as a fast initialization to NeRF-based methods.
• Abstract（参考訳）: 単眼のRGBビデオからの人間の再構築と合成は、衣服、オクルージョン、テクスチャの不連続性、シャープネス、フレーム固有のポーズの変化など、難しい問題である。 メッシュベースの表現では、RGB、シルエット、キーポイントのみから複雑な衣服やテクスチャをキャプチャできないという前提で、遅延レンダリング、NeRF、暗黙の手法が採用されている。 SMPL+Dメッシュを最適化し,RGB画像,バイナリシルエット,スパース2Dキーポイントのみを用いて,効率的な多面的テクスチャ表現を行うことにより,この基本的な前提に反する視点を提供する。 実験により,我々の手法は,メッシュ方式の視覚的包絡よりも幾何的細部を捉えることができることが示された。 目立たない望ましくないアーティファクトを導入するnrf法と比較して,新しいポーズ合成における競合的な新しい視点合成と改善を示す。 SMPL+Dモデルに対する解空間を微分可能レンダリングと組み合わせることで、計算、トレーニング時間(最大24倍)、推論時間(最大192倍)の劇的な高速化が得られる。 そこで本手法は,NeRF法を高速に初期化することができる。

関連論文リスト

• PatchShading: High-Quality Human Reconstruction by Patch Warping and Shading Refinement [11.960871621285063]
  多視点画像から高品質な人体メッシュを再構築するためのemphPatchShadingという新しい手法を提案する。 配向点雲の形状表現とSHシェーディングを利用して,提案手法は最適化とレンダリング時間を著しく短縮する。
  論文  参考訳（メタデータ） (2022-11-26T05:16:39Z)
• Approximate Differentiable Rendering with Algebraic Surfaces [24.7500811470085]
  ファジィメタボールはコンパクトで解釈可能な表現に対して近似微分可能である。 我々の近似は、深度マップとシルエットによる形状の描画に焦点を当てている。 メッシュベースの微分可能値と比較して、我々の手法は前方パスが5倍速く、後方パスが30倍高速である。
  論文  参考訳（メタデータ） (2022-07-21T16:59:54Z)
• Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis [63.25919018001152]
  動的シーンを扱うための高速な変形可能な放射場法を提案する。 本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2022-06-15T17:49:08Z)
• Compressible-composable NeRF via Rank-residual Decomposition [21.92736190195887]
  ニューラル・ラジアンス・フィールド(NeRF)は、3Dオブジェクトやシーンをリアルにレンダリングするための魅力的な方法として登場した。 本稿では,モデルの効率的かつ便利な操作を可能にするニューラル表現を提案する。 提案手法は,圧縮と合成の余分な能力を実現しつつ,最先端の手法に匹敵するレンダリング品質を実現することができる。
  論文  参考訳（メタデータ） (2022-05-30T06:18:59Z)
• Differentiable Point-Based Radiance Fields for Efficient View Synthesis [57.56579501055479]
  本稿では,効率的な新規ビュー合成のための微分可能レンダリングアルゴリズムを提案する。 我々の手法は、トレーニングと推論の両方において、NeRFよりも最大300倍高速である。 ダイナミックなシーンでは,STNeRFよりも2桁早く,ほぼインタラクティブなレートでレンダリングを行う。
  論文  参考訳（メタデータ） (2022-05-28T04:36:13Z)
• View Synthesis with Sculpted Neural Points [64.40344086212279]
  暗黙の神経表現は印象的な視覚的品質を達成したが、計算効率に欠点がある。 本稿では,点雲を用いたビュー合成を行う新しい手法を提案する。 レンダリング速度を100倍以上速くしながら、NeRFよりも視覚的品質を向上する最初のポイントベース手法である。
  論文  参考訳（メタデータ） (2022-05-12T03:54:35Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Deblur-NeRF: Neural Radiance Fields from Blurry Images [30.709331199256376]
  ぼやけた入力から鋭いNeRFを復元する最初の方法であるDe-NeRFを提案する。 我々は、ぼやけの過程をシミュレートしてぼやけたビューを再構築する分析・バイ・ブルーのアプローチを採用する。 実写シーンにおいて最もよく見られる2種類のぼかしという,カメラモーションのぼかしとデフォーカスのぼかしの両方で,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2021-11-29T01:49:15Z)
• Spatial-Separated Curve Rendering Network for Efficient and High-Resolution Image Harmonization [59.19214040221055]
  本稿では,空間分離型曲線描画ネットワーク(S$2$CRNet)を提案する。 提案手法は従来の手法と比較して90%以上のパラメータを減少させる。 提案手法は,既存の手法よりも10ドル以上高速な高解像度画像をリアルタイムにスムーズに処理することができる。
  論文  参考訳（メタデータ） (2021-09-13T07:20:16Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。