論文の概要: Learning a Room with the Occ-SDF Hybrid: Signed Distance Function Mingled with Occupancy Aids Scene Representation

• arxiv url: http://arxiv.org/abs/2303.09152v1
• Date: Thu, 16 Mar 2023 08:34:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 16:16:21.061374
• Title: Learning a Room with the Occ-SDF Hybrid: Signed Distance Function Mingled with Occupancy Aids Scene Representation
• Title（参考訳）: Occ-SDFハイブリッドを用いた部屋の学習 : アクシデントエイドのシーン表現を取り入れた手話距離関数
• Authors: Xiaoyang Lyu, Peng Dai, Zizhang Li, Dongyu Yan, Yi Lin, Yifan Peng, Xiaojuan Qi
• Abstract要約: 符号付き距離関数表現と幾何学的先行表現を用いた暗黙的ニューラルレンダリングは、大規模シーンの表面再構成において顕著な進歩をもたらした。 我々は,原色レンダリング損失と先行組込みSDFシーン表現の限界を識別する実験を行った。 非ゼロな特徴値を用いて最適化信号を返却する特徴ベースの色レンダリング損失を提案する。
• 参考スコア（独自算出の注目度）: 46.635542063913185
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Implicit neural rendering, which uses signed distance function (SDF) representation with geometric priors (such as depth or surface normal), has led to impressive progress in the surface reconstruction of large-scale scenes. However, applying this method to reconstruct a room-level scene from images may miss structures in low-intensity areas or small and thin objects. We conducted experiments on three datasets to identify limitations of the original color rendering loss and priors-embedded SDF scene representation. We found that the color rendering loss results in optimization bias against low-intensity areas, causing gradient vanishing and leaving these areas unoptimized. To address this issue, we propose a feature-based color rendering loss that utilizes non-zero feature values to bring back optimization signals. Additionally, the SDF representation can be influenced by objects along a ray path, disrupting the monotonic change of SDF values when a single object is present. To counteract this, we explore using the occupancy representation, which encodes each point separately and is unaffected by objects along a querying ray. Our experimental results demonstrate that the joint forces of the feature-based rendering loss and Occ-SDF hybrid representation scheme can provide high-quality reconstruction results, especially in challenging room-level scenarios. The code would be released.
• Abstract（参考訳）: 符号付き距離関数(SDF)と幾何学的先行値(深さや表面正規値など)を用いた暗黙的ニューラルレンダリングは、大規模シーンの表面再構成において顕著な進歩をもたらした。 しかし、この方法で部屋レベルのシーンを画像から再現することは、低強度領域や小さくて薄い物体の構造を見逃す可能性がある。 原色レンダリング損失と先行組込みsdfシーン表現の制限を識別するために,3つのデータセットを用いた実験を行った。 その結果,カラーレンダリング損失は低強度領域に対する最適化バイアスとなり,勾配が消失し,これらの領域は最適化されないことがわかった。 この問題に対処するために,ゼロでない特徴値を用いて最適化信号を返す特徴ベースの色レンダリング損失を提案する。 さらに、SDF表現は、光路に沿った物体の影響を受け、単一の物体が存在する場合のSDF値の単調変化を妨害することができる。 これに対応するために,各点を個別に符号化し,問合せ線に沿ったオブジェクトの影響を受けない占有表現を用いて検討する。 実験結果から,特徴量に基づくレンダリング損失とOcc-SDFハイブリッド表現の結合力は,特に挑戦的な部屋レベルのシナリオにおいて,高品質な再構成結果が得られることが示された。 コードはリリースされます。

関連論文リスト

• NeuralUDF: Learning Unsigned Distance Fields for Multi-view Reconstruction of Surfaces with Arbitrary Topologies [87.06532943371575]
  本稿では2次元画像からボリュームレンダリングにより任意の位相で表面を再構成する新しい手法であるNeuralUDFを提案する。 本稿では,表面をUDF(Unsigned Distance Function)として表現し,ニューラルUDF表現を学習するための新しいボリュームレンダリング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-25T15:21:45Z)
• Multi-View Neural Surface Reconstruction with Structured Light [7.709526244898887]
  微分可能レンダリング(DR)に基づく3次元オブジェクト再構成はコンピュータビジョンにおいて活発な研究課題である。 DRに基づく多視点3Dオブジェクト再構成において,構造化光(SL)を用いたアクティブセンシングを導入し,任意のシーンやカメラポーズの未知の形状と外観を学習する。 本手法は, テクスチャレス領域における高い再現精度を実現し, カメラポーズキャリブレーションの労力を削減する。
  論文  参考訳（メタデータ） (2022-11-22T03:10:46Z)
• iSDF: Real-Time Neural Signed Distance Fields for Robot Perception [64.80458128766254]
  iSDFは実時間符号付き距離場再構成のための連続学習システムである。 より正確な再構築と、衝突コストと勾配のより良い近似を生成する。
  論文  参考訳（メタデータ） (2022-04-05T15:48:39Z)
• HDSDF: Hybrid Directional and Signed Distance Functions for Fast Inverse Rendering [103.80070163611917]
  3D形状の暗黙的な神経表現は、シングルビューや複数ビューの3D再構成など、様々な用途に有用な強力な先行情報を形成する。 既存のニューラル表現の欠点は、レンダリングに複数のネットワーク評価が必要であることである。 我々は,方向距離関数(DDF)を付加した符号付き距離関数(SDF)に基づく新しいハイブリッド3次元オブジェクト表現を提案する。
  論文  参考訳（メタデータ） (2022-03-30T13:24:04Z)
• Gradient-SDF: A Semi-Implicit Surface Representation for 3D Reconstruction [53.315347543761426]
  Gradient-SDFは、暗黙的表現と明示的表現の利点を組み合わせた3次元幾何学の新しい表現である。 すべてのボクセルに符号付き距離場とその勾配ベクトル場を格納することにより、暗黙表現の能力を高める。 本研究では,(1)グラディエント・SDFは,ハッシュマップなどの効率的な記憶方式を用いて,深度画像からの直接SDF追跡を行うことができ,(2)グラディエント・SDF表現はボクセル表現で直接光度バンドル調整を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-11-26T18:33:14Z)
• NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination [60.89737319987051]
  照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。 これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
  論文  参考訳（メタデータ） (2021-06-03T16:18:01Z)
• Deep Local Shapes: Learning Local SDF Priors for Detailed 3D Reconstruction [19.003819911951297]
  本稿では,メモリの制限なしに高品質な3次元形状の符号化と再構成が可能な深部形状表現であるDeep Local Shapes (DeepLS)を紹介する。 ニューラルネットワークと1つの潜伏符号を持つオブジェクトレベルのSDFを表すDeepSDFとは異なり、我々は独立した潜伏符号のグリッドを格納し、それぞれが小さな局所的に表面に関する情報を格納する。 このシーンを局所的な形状に分解することで、ネットワークが学習しなければならない事前分布を単純化し、効率的な推論を可能にする。
  論文  参考訳（メタデータ） (2020-03-24T17:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。