論文の概要: I$^2$-SDF: Intrinsic Indoor Scene Reconstruction and Editing via Raytracing in Neural SDFs

• arxiv url: http://arxiv.org/abs/2303.07634v1
• Date: Tue, 14 Mar 2023 05:29:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 16:26:50.863322
• Title: I$^2$-SDF: Intrinsic Indoor Scene Reconstruction and Editing via Raytracing in Neural SDFs
• Title（参考訳）: I$^2$-SDF: 内因性屋内シーンの再構築とニューラルSDFにおけるレイトレーシングによる編集
• Authors: Jingsen Zhu, Yuchi Huo, Qi Ye, Fujun Luan, Jifan Li, Dianbing Xi, Lisha Wang, Rui Tang, Wei Hua, Hujun Bao, Rui Wang
• Abstract要約: I$2$-SDFは、ニューラルサインされた距離場(SDF)上でのモンテカルロ線トレーシングを用いた内在的な屋内シーン再構成と編集のための新しい方法である。 大規模屋内シーンの再現性を向上させるため,細粒度小物体に対する新しい気泡損失と誤り誘導適応サンプリング方式を導入する。
• 参考スコア（独自算出の注目度）: 31.968515496970312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we present I$^2$-SDF, a new method for intrinsic indoor scene reconstruction and editing using differentiable Monte Carlo raytracing on neural signed distance fields (SDFs). Our holistic neural SDF-based framework jointly recovers the underlying shapes, incident radiance and materials from multi-view images. We introduce a novel bubble loss for fine-grained small objects and error-guided adaptive sampling scheme to largely improve the reconstruction quality on large-scale indoor scenes. Further, we propose to decompose the neural radiance field into spatially-varying material of the scene as a neural field through surface-based, differentiable Monte Carlo raytracing and emitter semantic segmentations, which enables physically based and photorealistic scene relighting and editing applications. Through a number of qualitative and quantitative experiments, we demonstrate the superior quality of our method on indoor scene reconstruction, novel view synthesis, and scene editing compared to state-of-the-art baselines.
• Abstract（参考訳）: 本研究では,ニューラルサインされた距離場(SDFs)上でのモンテカルロ線トレーシングを用いた室内シーン再構成と編集のための新しい手法であるI$^2$-SDFを提案する。 我々は,多視点画像から基本形状,入射放射率,材料を総合的に復元する。 大規模屋内シーンの再現性を大幅に向上させるため,細粒度小物体に対する新しい気泡損失と誤り誘導適応サンプリング方式を導入する。 さらに, 空間的に変化するシーンの空間的変化を, 表面的, 微分可能なモンテカルロ線トレーシングとエミッタセマンティックセグメンテーションを通じて, シーンの空間的に変化する素材に分解することを提案する。 定性的かつ定量的な実験を通じて,室内のシーン再構成,新しいビュー合成,シーン編集において,最先端のベースラインに比べて優れた品質を示す。

関連論文リスト

• RISE-SDF: a Relightable Information-Shared Signed Distance Field for Glossy Object Inverse Rendering [26.988572852463815]
  本稿では,新しいエンド・ツー・エンド・エンド・リライトブル・ニューラル・リバース・レンダリングシステムを提案する。 本アルゴリズムは,逆レンダリングとリライトにおける最先端性能を実現する。 実験により, 逆レンダリングおよびリライティングにおける最先端性能が得られた。
  論文  参考訳（メタデータ） (2024-09-30T09:42:10Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• NeILF++: Inter-Reflectable Light Fields for Geometry and Material Estimation [36.09503501647977]
  我々は静的なシーンの照明を1つのニューラルインシデント光場(NeILF)と1つのニューラルラディアンス場(NeRF)として定式化する。 提案手法は, 幾何再構成の品質, 材料推定精度, 新規なビューレンダリングの忠実度の観点から, 最先端の結果が得られる。
  論文  参考訳（メタデータ） (2023-03-30T04:59:48Z)
• ENVIDR: Implicit Differentiable Renderer with Neural Environment Lighting [9.145875902703345]
  ENVIDRは、高精細な反射を伴う表面の高精細なレンダリングと再構成のためのレンダリングとモデリングのためのフレームワークである。 まず、表面光と環境光の相互作用を学習するために、分解レンダリングを用いた新しいニューラルネットワークを提案する。 次に、この学習されたニューラルサーフェスを利用して一般的なシーンを表現するSDFベースのニューラルサーフェスモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-23T04:12:07Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo [97.07453889070574]
  本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。 提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-09-02T17:54:31Z)
• NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction [88.02850205432763]
  物体やシーンを2次元画像入力から高忠実度に再構成するニュートラルサーフェス(NeuS)を提案する。 DVRやIDRのような既存の神経表面再構成アプローチでは、フォアグラウンドマスクを監督する必要がある。 本研究では,従来のボリュームレンダリング手法が表面再構成に固有の幾何学的誤差を引き起こすことを観察する。 マスクの監督なしでもより正確な表面再構成を実現するため,第一次近似ではバイアスのない新しい定式化を提案する。
  論文  参考訳（メタデータ） (2021-06-20T12:59:42Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。