論文の概要: Holistic Inverse Rendering of Complex Facade via Aerial 3D Scanning

• arxiv url: http://arxiv.org/abs/2311.11825v2
• Date: Mon, 8 Apr 2024 05:11:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 02:15:45.578754
• Title: Holistic Inverse Rendering of Complex Facade via Aerial 3D Scanning
• Title（参考訳）: 空中3次元走査による複素ファサードのホロスティック逆レンダリング
• Authors: Zixuan Xie, Rengan Xie, Rong Li, Kai Huang, Pengju Qiao, Jingsen Zhu, Xu Yin, Qi Ye, Wei Hua, Yuchi Huo, Hujun Bao,
• Abstract要約: 我々は多視点空中画像を用いて、ニューラルサイン距離場(SDF)を用いたファサードの形状、照明、材料を再構成する。 本実験は, ファサード全体の逆レンダリング, 新規なビュー合成, シーン編集において, 最先端のベースラインと比較して, 手法の優れた品質を示すものである。
• 参考スコア（独自算出の注目度）: 38.72679977945778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we use multi-view aerial images to reconstruct the geometry, lighting, and material of facades using neural signed distance fields (SDFs). Without the requirement of complex equipment, our method only takes simple RGB images captured by a drone as inputs to enable physically based and photorealistic novel-view rendering, relighting, and editing. However, a real-world facade usually has complex appearances ranging from diffuse rocks with subtle details to large-area glass windows with specular reflections, making it hard to attend to everything. As a result, previous methods can preserve the geometry details but fail to reconstruct smooth glass windows or verse vise. In order to address this challenge, we introduce three spatial- and semantic-adaptive optimization strategies, including a semantic regularization approach based on zero-shot segmentation techniques to improve material consistency, a frequency-aware geometry regularization to balance surface smoothness and details in different surfaces, and a visibility probe-based scheme to enable efficient modeling of the local lighting in large-scale outdoor environments. In addition, we capture a real-world facade aerial 3D scanning image set and corresponding point clouds for training and benchmarking. The experiment demonstrates the superior quality of our method on facade holistic inverse rendering, novel view synthesis, and scene editing compared to state-of-the-art baselines.
• Abstract（参考訳）: 本研究では,多視点空中画像を用いて,ニューラルサイン付き距離場(SDF)を用いたファサードの形状,照明,材料を再構成する。 複雑な機器を必要とせず、本手法では、入力としてドローンが捉えた単純なRGB画像のみを用いて、物理的にベースとしたフォトリアリスティックなノベルビューレンダリング、リライティング、編集を可能にする。 しかし、現実世界のファサードは通常、微妙な細部が散らばった岩から、鏡のような反射のある大面積のガラス窓まで複雑な外観を持つため、あらゆるものには耐え難い。 その結果、従来の方法では幾何学的詳細を保存できるが、スムーズなガラス窓や横風の復元に失敗する。 この課題に対処するために、ゼロショットセグメンテーション技術に基づく意味的正則化アプローチ、異なる表面における表面の滑らかさと詳細のバランスをとる周波数認識幾何正規化、大規模屋外環境における局所照明の効率的なモデリングを可能にする可視性プローブベースのスキームを含む、空間的および意味的適応的な最適化戦略を3つ導入する。 さらに,実世界のファサードによる空中3Dスキャン画像セットと,トレーニングとベンチマークのための対応する点雲をキャプチャする。 本実験は, ファサード全体の逆レンダリング, 新規なビュー合成, シーン編集において, 最先端のベースラインと比較して, 手法の優れた品質を示すものである。

関連論文リスト

• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Multi-View Neural Surface Reconstruction with Structured Light [7.709526244898887]
  微分可能レンダリング(DR)に基づく3次元オブジェクト再構成はコンピュータビジョンにおいて活発な研究課題である。 DRに基づく多視点3Dオブジェクト再構成において,構造化光(SL)を用いたアクティブセンシングを導入し,任意のシーンやカメラポーズの未知の形状と外観を学習する。 本手法は, テクスチャレス領域における高い再現精度を実現し, カメラポーズキャリブレーションの労力を削減する。
  論文  参考訳（メタデータ） (2022-11-22T03:10:46Z)
• Learning-based Inverse Rendering of Complex Indoor Scenes with Differentiable Monte Carlo Raytracing [27.96634370355241]
  本研究はモンテカルロ線トレーシングと重要サンプリングを組み合わせたエンドツーエンドの学習ベースの逆レンダリングフレームワークを提案する。 このフレームワークは1枚の画像を入力として、基礎となる幾何学、空間的に変化する照明、およびフォトリアリスティックな材料を共同で復元する。
  論文  参考訳（メタデータ） (2022-11-06T03:34:26Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Shape and Reflectance Reconstruction in Uncontrolled Environments by Differentiable Rendering [27.41344744849205]
  従来のハンドヘルドカメラを用いた多視点写真からシーンの3次元形状と反射率を再構築する効率的な手法を提案する。 また,本手法は,新しい視点の視覚的合成と定量化において,最先端の代替手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-25T14:09:10Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Through the Looking Glass: Neural 3D Reconstruction of Transparent Shapes [75.63464905190061]
  屈折と反射によって誘導される複雑な光路は、従来の多視点ステレオと深いステレオの両方がこの問題を解決するのを妨げている。 携帯電話カメラで取得したいくつかの画像を用いて透明物体の3次元形状を復元する物理ネットワークを提案する。 5-12個の自然画像を用いて, 複雑な透明形状に対する高品質な3次元形状の復元に成功した。
  論文  参考訳（メタデータ） (2020-04-22T23:51:30Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。