論文の概要: PatchShading: High-Quality Human Reconstruction by Patch Warping and Shading Refinement

• arxiv url: http://arxiv.org/abs/2211.14485v1
• Date: Sat, 26 Nov 2022 05:16:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 18:04:51.269521
• Title: PatchShading: High-Quality Human Reconstruction by Patch Warping and Shading Refinement
• Title（参考訳）: パッチシェーディング:パッチウォーピングとシェーディングによる高品質ヒト再建
• Authors: Lixiang Lin, Songyou Peng, Qijun Gan, Jianke Zhu
• Abstract要約: 多視点画像から高品質な人体メッシュを再構築するためのemphPatchShadingという新しい手法を提案する。 配向点雲の形状表現とSHシェーディングを利用して,提案手法は最適化とレンダリング時間を著しく短縮する。
• 参考スコア（独自算出の注目度）: 11.960871621285063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human reconstruction from multi-view images plays an important role in many applications. Although neural rendering methods have achieved promising results on synthesising realistic images, it is still difficult to handle the ambiguity between the geometry and appearance using only rendering loss. Moreover, it is very computationally intensive to render a whole image as each pixel requires a forward network inference. To tackle these challenges, we propose a novel approach called \emph{PatchShading} to reconstruct high-quality mesh of human body from multi-view posed images. We first present a patch warping strategy to constrain multi-view photometric consistency explicitly. Second, we adopt sphere harmonics (SH) illumination and shape from shading image formation to further refine the geometric details. By taking advantage of the oriented point clouds shape representation and SH shading, our proposed method significantly reduce the optimization and rendering time compared to those implicit methods. The encouraging results on both synthetic and real-world datasets demonstrate the efficacy of our proposed approach.
• Abstract（参考訳）: マルチビュー画像からのヒューマンリコンストラクションは、多くのアプリケーションにおいて重要な役割を果たす。 ニューラルレンダリング法は現実的な画像の合成において有望な結果を得たが、レンダリングロスのみを用いて幾何学と外観のあいまいさを扱うことは依然として困難である。 さらに、各ピクセルが前方ネットワーク推論を必要とするため、全体像のレンダリングは非常に計算集約的である。 これらの課題に取り組むために,多視点画像から人体の高品質メッシュを再構築する新しい手法である \emph{patchshading}を提案する。 まず,マルチビューフォトメトリックの一貫性を明示的に制約するパッチワーピング戦略を提案する。 第2に,球面高調波(sh)の照明とシェーディング像からの形状を採用し,幾何学的詳細をさらに洗練する。 配向点雲の形状表現とSHシェーディングを利用して,提案手法は暗黙の手法と比較して最適化とレンダリング時間を著しく短縮する。 合成データセットと実世界のデータセットの両方において,提案手法の有効性を示す。

関連論文リスト

• One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization [30.951405623906258]
  単一画像の3D再構成は、我々の自然界に関する広範な知識を必要とする重要な課題であるが、難しい課題である。 本研究では,任意の物体の1つの画像を入力として取り込み,360度3次元テクスチャメッシュを1回のフィードフォワードパスで生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-29T13:28:16Z)
• NeuManifold: Neural Watertight Manifold Reconstruction with Efficient and High-Quality Rendering Support [45.68296352822415]
  マルチビュー入力画像から高品質な水密多様体メッシュを生成する手法を提案する。 提案手法は両世界の利点を組み合わせ, ニューラルネットワークから得られる幾何学と, よりコンパクトな神経テクスチャ表現を最適化する。
  論文  参考訳（メタデータ） (2023-05-26T17:59:21Z)
• Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
  高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。 最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。 アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
  論文  参考訳（メタデータ） (2023-03-23T00:15:34Z)
• Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos [15.746993448290175]
  多くの方法は、遅延レンダリング、NeRF、暗黙の手法を用いて、人間の衣服を表現している。 SMPL+Dメッシュの最適化と,効率的な多面的テクスチャ表現による対向的視点を提供する。 我々は、NeRF法と比較して、新規ポーズ合成の競争力のある新規ビュー合成と改善を示す。
  論文  参考訳（メタデータ） (2023-03-15T17:57:13Z)
• Differentiable Point-Based Radiance Fields for Efficient View Synthesis [57.56579501055479]
  本稿では,効率的な新規ビュー合成のための微分可能レンダリングアルゴリズムを提案する。 我々の手法は、トレーニングと推論の両方において、NeRFよりも最大300倍高速である。 ダイナミックなシーンでは,STNeRFよりも2桁早く,ほぼインタラクティブなレートでレンダリングを行う。
  論文  参考訳（メタデータ） (2022-05-28T04:36:13Z)
• Efficient Textured Mesh Recovery from Multiple Views with Differentiable Rendering [8.264851594332677]
  マルチビュー画像からテクスチャメッシュを復元する手法を提案する。 学習ベース多視点ステレオアルゴリズムにより予測される深度との差を最小化することにより形状形状を最適化する。 形状や色に対する暗黙的なニューラル表現とは対照的に,物体の光と反射を共同で推定する物理ベース逆レンダリング方式を導入する。
  論文  参考訳（メタデータ） (2022-05-25T03:33:55Z)
• IRON: Inverse Rendering by Optimizing Neural SDFs and Materials from Photometric Images [52.021529273866896]
  我々は、光メトリック画像を操作し、高品質な3Dコンテンツを出力するIRONと呼ばれるニューラルネットワーク逆レンダリングパイプラインを提案する。 提案手法は, 符号付き距離場 (SDF) と材料として, その柔軟性とコンパクトさを享受するために, 形状のニューラル表現を最適化中に採用する。 我々のIRONは、以前の作品に比べて、逆レンダリング品質が大幅に向上していることが示される。
  論文  参考訳（メタデータ） (2022-04-05T14:14:18Z)
• Geometry-Guided Progressive NeRF for Generalizable and Efficient Neural Human Rendering [139.159534903657]
  我々は、高忠実度自由視点人体詳細のための一般化可能で効率的なニューラルレーダランス・フィールド(NeRF)パイプラインを開発した。 自己閉塞性を改善するため,幾何誘導型多視点機能統合手法を考案した。 高いレンダリング効率を達成するため,幾何誘導型プログレッシブレンダリングパイプラインを導入する。
  論文  参考訳（メタデータ） (2021-12-08T14:42:10Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Efficient and Differentiable Shadow Computation for Inverse Problems [64.70468076488419]
  微分可能幾何計算は画像に基づく逆問題に対する関心が高まっている。 微分可能な可視性とソフトシャドウ計算のための効率的かつ効率的なアプローチを提案する。 定式化は微分可能であるため, テクスチャ, 照明, 剛体ポーズ, 画像からの変形回復などの逆問題を解くために使用できる。
  論文  参考訳（メタデータ） (2021-04-01T09:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。