論文の概要: Efficient Multi-View Inverse Rendering Using a Hybrid Differentiable Rendering Method

• arxiv url: http://arxiv.org/abs/2308.10003v1
• Date: Sat, 19 Aug 2023 12:48:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 18:29:53.683053
• Title: Efficient Multi-View Inverse Rendering Using a Hybrid Differentiable Rendering Method
• Title（参考訳）: ハイブリッド微分可能レンダリング法による多視点逆レンダリング
• Authors: Xiangyang Zhu, Yiling Pan, Bailin Deng and Bin Wang
• Abstract要約: シーンの3次元形状と反射率を効率的に再構成する,新しいハイブリッド微分可能レンダリング手法を提案する。 本手法は, 最先端の手法と同等あるいは高い品質で再現が可能であり, 効率がよい。
• 参考スコア（独自算出の注目度）: 19.330797817738542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recovering the shape and appearance of real-world objects from natural 2D images is a long-standing and challenging inverse rendering problem. In this paper, we introduce a novel hybrid differentiable rendering method to efficiently reconstruct the 3D geometry and reflectance of a scene from multi-view images captured by conventional hand-held cameras. Our method follows an analysis-by-synthesis approach and consists of two phases. In the initialization phase, we use traditional SfM and MVS methods to reconstruct a virtual scene roughly matching the real scene. Then in the optimization phase, we adopt a hybrid approach to refine the geometry and reflectance, where the geometry is first optimized using an approximate differentiable rendering method, and the reflectance is optimized afterward using a physically-based differentiable rendering method. Our hybrid approach combines the efficiency of approximate methods with the high-quality results of physically-based methods. Extensive experiments on synthetic and real data demonstrate that our method can produce reconstructions with similar or higher quality than state-of-the-art methods while being more efficient.
• Abstract（参考訳）: 自然の2d画像から実世界の物体の形状と外観を復元することは、長年の逆レンダリング問題である。 本稿では,従来のハンドヘルドカメラで捉えた多視点画像からシーンの3次元形状と反射率を効率的に再構成する,新しいハイブリッド微分可能レンダリング手法を提案する。 本手法は,2つの相からなる合成分析手法に従う。 初期化フェーズでは,従来のsfm法とmvs法を用いて,実際のシーンとほぼ一致する仮想シーンを再構築する。 そして、最適化段階では、幾何と反射率を改良するためのハイブリッドアプローチを採用し、幾何を近似微分可能レンダリング法を用いて最初に最適化し、その後に物理ベース微分可能レンダリング法を用いて反射率を最適化する。 我々のハイブリッドアプローチは、近似手法の効率と物理的手法の高品質な結果を組み合わせる。 合成および実データに対する大規模な実験により,本手法は最先端の手法と同等あるいは高い品質で再現が可能でありながら,より効率的であることを示す。

関連論文リスト

• Wonder3D: Single Image to 3D using Cross-Domain Diffusion [105.16622018766236]
  Wonder3Dは、単一視点画像から高忠実なテクスチャメッシュを効率的に生成する新しい手法である。 画像から3Dまでのタスクの品質,一貫性,効率性を総括的に改善するため,領域間拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-23T15:02:23Z)
• High-Fidelity Clothed Avatar Reconstruction from a Single Image [73.15939963381906]
  本研究では,1枚の画像から高忠実度布地アバター再構成を実現するための粗大な方法を提案する。 我々は暗黙のモデルを用いて、学習ベースの方法で人の標準空間の一般的な形状を学習する。 提案手法は, 提案空間における非剛性変形を最適化的に推定することにより, 表面の細部を改良する。
  論文  参考訳（メタデータ） (2023-04-08T04:01:04Z)
• Adaptive Joint Optimization for 3D Reconstruction with Differentiable Rendering [22.2095090385119]
  完璧に再構成された3Dモデルを考えると、従来の手法は幾何学、テクスチャ、カメラのポーズの洗練に重点を置いてきた。 本稿では、カメラポーズ、幾何学、テクスチャの最適化を統一されたフレームワークに統合する、微分可能レンダリングに基づく新しい最適化手法を提案する。 微分可能レンダリングを用いることで、3Dモデルをさらに改善し、よりフォトリアリスティックにすることができる。
  論文  参考訳（メタデータ） (2022-08-15T04:32:41Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
  マルチビューRGB画像から新しい3次元顔再構成法を提案する。 従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。 いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-12-05T07:02:53Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Shape and Reflectance Reconstruction in Uncontrolled Environments by Differentiable Rendering [27.41344744849205]
  従来のハンドヘルドカメラを用いた多視点写真からシーンの3次元形状と反射率を再構築する効率的な手法を提案する。 また,本手法は,新しい視点の視覚的合成と定量化において,最先端の代替手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-25T14:09:10Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Efficient and Differentiable Shadow Computation for Inverse Problems [64.70468076488419]
  微分可能幾何計算は画像に基づく逆問題に対する関心が高まっている。 微分可能な可視性とソフトシャドウ計算のための効率的かつ効率的なアプローチを提案する。 定式化は微分可能であるため, テクスチャ, 照明, 剛体ポーズ, 画像からの変形回復などの逆問題を解くために使用できる。
  論文  参考訳（メタデータ） (2021-04-01T09:29:05Z)
• Unified Shape and SVBRDF Recovery using Differentiable Monte Carlo Rendering [20.68222611798537]
  高品質な再構築が可能な新しい分析合成技術を提案する。 幾何と反射率をほぼ別々に扱う従来の方法とは異なり、本手法は両者の最適化を統一する。 物理的に正確な勾配推定を得るために,新しいGPUベースのモンテカルロ微分レンダリング理論を開発した。
  論文  参考訳（メタデータ） (2021-03-28T19:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。