論文の概要: Adaptive Joint Optimization for 3D Reconstruction with Differentiable
Rendering
- arxiv url: http://arxiv.org/abs/2208.07003v1
- Date: Mon, 15 Aug 2022 04:32:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-16 14:04:12.227786
- Title: Adaptive Joint Optimization for 3D Reconstruction with Differentiable
Rendering
- Title(参考訳): 微分可能レンダリングを用いた3次元再構成のための適応ジョイント最適化
- Authors: Jingbo Zhang, Ziyu Wan, Jing Liao
- Abstract要約: 完璧に再構成された3Dモデルを考えると、従来の手法は幾何学、テクスチャ、カメラのポーズの洗練に重点を置いてきた。
本稿では、カメラポーズ、幾何学、テクスチャの最適化を統一されたフレームワークに統合する、微分可能レンダリングに基づく新しい最適化手法を提案する。
微分可能レンダリングを用いることで、3Dモデルをさらに改善し、よりフォトリアリスティックにすることができる。
- 参考スコア(独自算出の注目度): 22.2095090385119
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to inevitable noises introduced during scanning and quantization, 3D
reconstruction via RGB-D sensors suffers from errors both in geometry and
texture, leading to artifacts such as camera drifting, mesh distortion, texture
ghosting, and blurriness. Given an imperfect reconstructed 3D model, most
previous methods have focused on the refinement of either geometry, texture, or
camera pose. Or different optimization schemes and objectives for optimizing
each component have been used in previous joint optimization methods, forming a
complicated system. In this paper, we propose a novel optimization approach
based on differentiable rendering, which integrates the optimization of camera
pose, geometry, and texture into a unified framework by enforcing consistency
between the rendered results and the corresponding RGB-D inputs. Based on the
unified framework, we introduce a joint optimization approach to fully exploit
the inter-relationships between geometry, texture, and camera pose, and
describe an adaptive interleaving strategy to improve optimization stability
and efficiency. Using differentiable rendering, an image-level adversarial loss
is applied to further improve the 3D model, making it more photorealistic.
Experiments on synthetic and real data using quantitative and qualitative
evaluation demonstrated the superiority of our approach in recovering both
fine-scale geometry and high-fidelity texture.
- Abstract(参考訳): 走査と量子化の間に生じる不可避なノイズのため、rgb-dセンサーによる3d再構成は、幾何学とテクスチャの両方のエラーに悩まされ、カメラのドリフト、メッシュ歪み、テクスチャゴースト、ぼやけなどの成果物に繋がる。
完璧に再構成された3Dモデルを考えると、従来の手法は幾何学、テクスチャ、カメラのポーズの洗練に重点を置いてきた。
あるいは、各コンポーネントを最適化するための異なる最適化スキームや目的が、以前のジョイント最適化手法で使われ、複雑なシステムを形成している。
本稿では, カメラのポーズ, 幾何学, テクスチャの最適化を, レンダリング結果と対応するRGB-D入力との整合性を持たせることによって統一的なフレームワークに統合する, 微分可能レンダリングに基づく新しい最適化手法を提案する。
この統一フレームワークに基づき,形状,テクスチャ,カメラポーズの相互関係を十分に活用するための協調最適化手法を導入し,最適化の安定性と効率を向上させるための適応的相互学習戦略について述べる。
微分可能レンダリングを用いることで、3Dモデルをさらに改善し、よりフォトリアリスティックにすることができる。
定量的および定性的評価を用いた合成および実データ実験により, 微細な形状と高忠実なテクスチャの回復におけるアプローチの優位性を実証した。
関連論文リスト
- Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。
本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
論文 参考訳(メタデータ) (2024-08-10T21:23:08Z) - Improving Robustness for Joint Optimization of Camera Poses and
Decomposed Low-Rank Tensorial Radiance Fields [26.4340697184666]
本稿では,分解された低ランクテンソルで表現されるカメラポーズとシーン形状を共同で洗練するアルゴリズムを提案する。
また,スムーズな2次元監視手法,ランダムスケールカーネルパラメータ,エッジ誘導損失マスクを提案する。
論文 参考訳(メタデータ) (2024-02-20T18:59:02Z) - Wonder3D: Single Image to 3D using Cross-Domain Diffusion [105.16622018766236]
Wonder3Dは、単一視点画像から高忠実なテクスチャメッシュを効率的に生成する新しい手法である。
画像から3Dまでのタスクの品質,一貫性,効率性を総括的に改善するため,領域間拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-10-23T15:02:23Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳(メタデータ) (2023-08-10T17:55:02Z) - Neural Lens Modeling [50.57409162437732]
NeuroLens(ニューロレンス)は、点投影と光線鋳造に使用できる歪みと磁化のための神経レンズモデルである。
古典的なキャリブレーションターゲットを使用してプリキャプチャのキャリブレーションを行うことができ、後に3D再構成の際にキャリブレーションやリファインメントを行うために使用できる。
このモデルは、多くのレンズタイプにまたがって一般化されており、既存の3D再構成とレンダリングシステムとの統合は容易である。
論文 参考訳(メタデータ) (2023-04-10T20:09:17Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - Multi-View Neural Surface Reconstruction with Structured Light [7.709526244898887]
微分可能レンダリング(DR)に基づく3次元オブジェクト再構成はコンピュータビジョンにおいて活発な研究課題である。
DRに基づく多視点3Dオブジェクト再構成において,構造化光(SL)を用いたアクティブセンシングを導入し,任意のシーンやカメラポーズの未知の形状と外観を学習する。
本手法は, テクスチャレス領域における高い再現精度を実現し, カメラポーズキャリブレーションの労力を削減する。
論文 参考訳(メタデータ) (2022-11-22T03:10:46Z) - Differentiable Rendering with Perturbed Optimizers [85.66675707599782]
2Dイメージプロジェクションから3Dシーンを推論することは、コンピュータビジョンにおける中核的な問題の一つだ。
我々の研究は、よく知られた微分可能な定式化とランダムなスムーズなレンダリングの関連性を強調している。
提案手法を3次元シーン再構成に適用し,その利点を6次元ポーズ推定と3次元メッシュ再構成の課題に適用した。
論文 参考訳(メタデータ) (2021-10-18T08:56:23Z) - Unified Shape and SVBRDF Recovery using Differentiable Monte Carlo
Rendering [20.68222611798537]
高品質な再構築が可能な新しい分析合成技術を提案する。
幾何と反射率をほぼ別々に扱う従来の方法とは異なり、本手法は両者の最適化を統一する。
物理的に正確な勾配推定を得るために,新しいGPUベースのモンテカルロ微分レンダリング理論を開発した。
論文 参考訳(メタデータ) (2021-03-28T19:44:05Z) - PaMIR: Parametric Model-Conditioned Implicit Representation for
Image-based Human Reconstruction [67.08350202974434]
本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。
本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
論文 参考訳(メタデータ) (2020-07-08T02:26:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。