論文の概要: NeRFs are Mirror Detectors: Using Structural Similarity for Multi-View Mirror Scene Reconstruction with 3D Surface Primitives

• arxiv url: http://arxiv.org/abs/2501.04074v1
• Date: Tue, 07 Jan 2025 18:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:56:06.883506
• Title: NeRFs are Mirror Detectors: Using Structural Similarity for Multi-View Mirror Scene Reconstruction with 3D Surface Primitives
• Title（参考訳）: NeRFはミラー検出器:3次元表面プリミティブを用いた多視点ミラーシーン再構成における構造的類似性を用いた
• Authors: Leif Van Holland, Michael Weinmann, Jan U. Müller, Patrick Stotko, Reinhard Klein,
• Abstract要約: 我々は、NeRFをミラー検出器とみなすことができることを示す方法であるNeRF-MDを提案する。 まず、標準的なNeRFをトレーニングすることで、シーン形状の初期推定を計算する。 次に、第2の訓練段階において、放射場とミラー幾何学を共同で最適化し、その品質を向上する。
• 参考スコア（独自算出の注目度）: 7.116175288307167
• License:
• Abstract: While neural radiance fields (NeRF) led to a breakthrough in photorealistic novel view synthesis, handling mirroring surfaces still denotes a particular challenge as they introduce severe inconsistencies in the scene representation. Previous attempts either focus on reconstructing single reflective objects or rely on strong supervision guidance in terms of additional user-provided annotations of visible image regions of the mirrors, thereby limiting the practical usability. In contrast, in this paper, we present NeRF-MD, a method which shows that NeRFs can be considered as mirror detectors and which is capable of reconstructing neural radiance fields of scenes containing mirroring surfaces without the need for prior annotations. To this end, we first compute an initial estimate of the scene geometry by training a standard NeRF using a depth reprojection loss. Our key insight lies in the fact that parts of the scene corresponding to a mirroring surface will still exhibit a significant photometric inconsistency, whereas the remaining parts are already reconstructed in a plausible manner. This allows us to detect mirror surfaces by fitting geometric primitives to such inconsistent regions in this initial stage of the training. Using this information, we then jointly optimize the radiance field and mirror geometry in a second training stage to refine their quality. We demonstrate the capability of our method to allow the faithful detection of mirrors in the scene as well as the reconstruction of a single consistent scene representation, and demonstrate its potential in comparison to baseline and mirror-aware approaches.
• Abstract（参考訳）: ニューラル・ラディアンス・フィールド(NeRF)は光リアリスティック・ノベル・ビュー・シンセシス(英語版)の突破口となったが、ミラーリング表面の処理はシーン表現に深刻な不整合を導入することで、特別な課題を示している。 以前の試みでは、単一の反射物体の再構成に重点を置いていたり、鏡の可視画像領域のユーザ提供アノテーションを付加することで、実用的なユーザビリティを制限していたりしていた。 一方,本研究では,NeRFをミラー検出器とみなすことができ,先行アノテーションを必要とせずにミラー面を含むシーンのニューラル放射場を再構成できる方法であるNeRF-MDを提案する。 この目的のために,我々はまず,奥行き再投射損失を用いて標準的なNeRFをトレーニングすることにより,シーン形状の初期推定を計算する。 私たちの重要な洞察は、ミラーリング面に対応するシーンの一部が依然として重要な光度不整合を示すという事実にあります。 これにより、この訓練の初期段階において、このような不整合領域に幾何学的プリミティブを適合させることで、鏡面を検出することができる。 この情報を用いて、第2の訓練段階における放射場とミラー幾何学を協調的に最適化し、その品質を向上する。 本研究では,シーン中の鏡の忠実な検出と,一貫したシーン表現の再構築を可能にする手法の有効性を実証し,ベースラインやミラー認識アプローチと比較してその可能性を実証する。

関連論文リスト

• Planar Reflection-Aware Neural Radiance Fields [32.709468082010126]
  我々は、窓などの平面反射体を共同でモデル化し、反射光を明示的に鋳造して高周波反射源を捉える反射型NeRFを提案する。 一次光線に沿ってレンダリングすると、きれいで反射のないビューとなり、一方、反射光線に沿って明示的にレンダリングすることで、非常に詳細な反射を再構成することができる。
  論文  参考訳（メタデータ） (2024-11-07T18:55:08Z)
• NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
  NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。 偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。 我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
  論文  参考訳（メタデータ） (2024-06-11T09:53:18Z)
• Mirror-3DGS: Incorporating Mirror Reflections into 3D Gaussian Splatting [27.361324194709155]
  Mirror-3DGSは鏡の幾何学と反射を正確に扱うように設計された新しいフレームワークである。 ミラー属性を3DGSに組み込むことで、ミラー3DGSはミラーの後ろからミラー化された視点をシミュレートし、シーンレンダリングのリアリズムを高める。
  論文  参考訳（メタデータ） (2024-04-01T15:16:33Z)
• UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections [87.191742674543]
  大規模な複雑なシーンをリフレクションで再構成できる汎用3次元再構成手法UniSDFを提案する。 提案手法は,複雑な大規模シーンを細部と反射面で頑健に再構築し,全体的な性能を向上する。
  論文  参考訳（メタデータ） (2023-12-20T18:59:42Z)
• TraM-NeRF: Tracing Mirror and Near-Perfect Specular Reflections through Neural Radiance Fields [3.061835990893184]
  NeRF(Neural Radiance Fields)のような暗黙の表現は、複雑なシーンを細かな詳細でレンダリングするための印象的な結果を示した。 本研究では,NeRF内部のボリュームレンダリングに適した新しいリフレクショントレーシング手法を提案する。 少数の試料から,光線による重要サンプリングと透過率計算の効率的な手法を導出した。
  論文  参考訳（メタデータ） (2023-10-16T17:59:56Z)
• Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with Whitted-Style Ray Tracing [33.852910220413655]
  鏡の正確な形状と反射を学習できる新しいニューラルネットワーク・レンダリング・フレームワークであるMirror-NeRFを提案する。 Mirror-NeRFは、新しいオブジェクトやミラーをシーンに追加したり、鏡に新しいオブジェクトの反射を合成したり、様々なシーン操作アプリケーションをサポートする。
  論文  参考訳（メタデータ） (2023-08-07T03:48:07Z)
• SNeS: Learning Probably Symmetric Neural Surfaces from Incomplete Data [77.53134858717728]
  我々はニューラルレイディアンスフィールド(NeRF)のようなニューラルリコンストラクションとレンダリングの最近の進歩の強みの上に構築する。 我々は3次元形状と材料特性にソフト対称性の制約を適用し,光,アルベド色,反射率に分解された外観を有する。 保存されていない領域を高い忠実度で再構成し、高品質な新しいビュー画像を作成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-13T17:37:50Z)
• NeRFReN: Neural Radiance Fields with Reflections [16.28256369376256]
  我々は、NeRF上に構築されたNeRFReNを導入し、リフレクションのあるシーンをモデル化する。 本稿では,シーンを伝送・反射するコンポーネントに分割し,2つのコンポーネントを別個の神経放射場でモデル化することを提案する。 様々な自撮りシーンの実験により,本手法は高品質な新規ビュー合成と物理音響深度推定を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-11-30T09:36:00Z)
• Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance [78.34235841168031]
  シングルイメージリフレクション除去(SIRR)のためのリフレクション・アウェア・ガイダンス(RAGNet)を用いた新しい2段階ネットワークを提案する。 RAGは、(i)観測からの反射の効果を緩和するために、(ii)線形結合仮説から逸脱する効果を緩和するための部分畳み込みにおいてマスクを生成するために用いられる。 5つの一般的なデータセットの実験は、最先端のSIRR法と比較して、RAGNetの量的および質的な優位性を実証している。
  論文  参考訳（メタデータ） (2020-12-02T03:14:57Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。