論文の概要: Unified Shape and SVBRDF Recovery using Differentiable Monte Carlo
Rendering
- arxiv url: http://arxiv.org/abs/2103.15208v1
- Date: Sun, 28 Mar 2021 19:44:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-31 07:50:24.788073
- Title: Unified Shape and SVBRDF Recovery using Differentiable Monte Carlo
Rendering
- Title(参考訳): 微分可能なモンテカルロレンダリングによる統一形状とSVBRDF回収
- Authors: Fujun Luan, Shuang Zhao, Kavita Bala, Zhao Dong
- Abstract要約: 高品質な再構築が可能な新しい分析合成技術を提案する。
幾何と反射率をほぼ別々に扱う従来の方法とは異なり、本手法は両者の最適化を統一する。
物理的に正確な勾配推定を得るために,新しいGPUベースのモンテカルロ微分レンダリング理論を開発した。
- 参考スコア(独自算出の注目度): 20.68222611798537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reconstructing the shape and appearance of real-world objects using measured
2D images has been a long-standing problem in computer vision. In this paper,
we introduce a new analysis-by-synthesis technique capable of producing
high-quality reconstructions through robust coarse-to-fine optimization and
physics-based differentiable rendering.
Unlike most previous methods that handle geometry and reflectance largely
separately, our method unifies the optimization of both by leveraging image
gradients with respect to both object reflectance and geometry. To obtain
physically accurate gradient estimates, we develop a new GPU-based Monte Carlo
differentiable renderer leveraging recent advances in differentiable rendering
theory to offer unbiased gradients while enjoying better performance than
existing tools like PyTorch3D and redner. To further improve robustness, we
utilize several shape and material priors as well as a coarse-to-fine
optimization strategy to reconstruct geometry. We demonstrate that our
technique can produce reconstructions with higher quality than previous methods
such as COLMAP and Kinect Fusion.
- Abstract(参考訳): 実世界の物体の形状と外観を2次元画像で再現することは、コンピュータビジョンにおいて長年の課題であった。
本稿では,ロバストな粗い最適化と物理に基づく微分可能レンダリングにより,高品質な再構成を実現する新手法を提案する。
幾何と反射率をほぼ別々に扱う従来の手法とは異なり、この手法は物体の反射率と反射率の両方について画像勾配を活用することで両方の最適化を統一する。
物理的に正確な勾配推定を得るために,最近の微分可能レンダリング理論の進歩を利用して,pytorch3dやrednerといった既存のツールよりも優れた性能を享受しながら,偏りのない勾配を提供する新しいgpuベースのモンテカルロ微分可能レンダラを開発した。
さらにロバスト性を向上させるために,形状や素材の先行性や粗大な最適化戦略を利用して幾何を再構築する。
本手法は,従来のcolmapやkinect fusion法よりも高品質な再構築を実現できることを示す。
関連論文リスト
- Efficient Multi-View Inverse Rendering Using a Hybrid Differentiable
Rendering Method [19.330797817738542]
シーンの3次元形状と反射率を効率的に再構成する,新しいハイブリッド微分可能レンダリング手法を提案する。
本手法は, 最先端の手法と同等あるいは高い品質で再現が可能であり, 効率がよい。
論文 参考訳(メタデータ) (2023-08-19T12:48:10Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳(メタデータ) (2023-03-03T17:14:44Z) - Gradient-Based Geometry Learning for Fan-Beam CT Reconstruction [7.04200827802994]
ファンビームCT再構成の微分定式化は、取得幾何に拡張される。
概念実証実験として、このアイデアは剛性運動補償に適用される。
アルゴリズムはMSEを35.5%削減し、SSIMを12.6%改善する。
論文 参考訳(メタデータ) (2022-12-05T11:18:52Z) - Adaptive Joint Optimization for 3D Reconstruction with Differentiable
Rendering [22.2095090385119]
完璧に再構成された3Dモデルを考えると、従来の手法は幾何学、テクスチャ、カメラのポーズの洗練に重点を置いてきた。
本稿では、カメラポーズ、幾何学、テクスチャの最適化を統一されたフレームワークに統合する、微分可能レンダリングに基づく新しい最適化手法を提案する。
微分可能レンダリングを用いることで、3Dモデルをさらに改善し、よりフォトリアリスティックにすることができる。
論文 参考訳(メタデータ) (2022-08-15T04:32:41Z) - IRON: Inverse Rendering by Optimizing Neural SDFs and Materials from
Photometric Images [52.021529273866896]
我々は、光メトリック画像を操作し、高品質な3Dコンテンツを出力するIRONと呼ばれるニューラルネットワーク逆レンダリングパイプラインを提案する。
提案手法は, 符号付き距離場 (SDF) と材料として, その柔軟性とコンパクトさを享受するために, 形状のニューラル表現を最適化中に採用する。
我々のIRONは、以前の作品に比べて、逆レンダリング品質が大幅に向上していることが示される。
論文 参考訳(メタデータ) (2022-04-05T14:14:18Z) - {\phi}-SfT: Shape-from-Template with a Physics-Based Deformation Model [69.27632025495512]
Shape-from-Template (SfT) 法では、単一の単眼RGBカメラから3次元表面の変形を推定する。
本稿では,物理シミュレーションによる2次元観察を解説する新しいSfT手法を提案する。
論文 参考訳(メタデータ) (2022-03-22T17:59:57Z) - SIDER: Single-Image Neural Optimization for Facial Geometric Detail
Recovery [54.64663713249079]
SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。
以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
論文 参考訳(メタデータ) (2021-08-11T22:34:53Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-05-06T04:16:06Z) - Towards High Fidelity Monocular Face Reconstruction with Rich
Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。
古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。
一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
論文 参考訳(メタデータ) (2021-03-29T08:58:10Z) - Shape From Tracing: Towards Reconstructing 3D Object Geometry and SVBRDF
Material from Images via Differentiable Path Tracing [16.975014467319443]
識別可能なパストレースは、複雑な外観効果を再現できるため、魅力的なフレームワークである。
本稿では,初期粗いメッシュとメッシュファセット単位の材料表現を改良するために,微分可能なレイトレーシングを利用する方法を示す。
また、制約のない環境下での現実世界の物体の初期再構成を洗練させる方法についても示す。
論文 参考訳(メタデータ) (2020-12-06T18:55:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。