論文の概要: Seeing Through the Glass: Neural 3D Reconstruction of Object Inside a Transparent Container

• arxiv url: http://arxiv.org/abs/2303.13805v1
• Date: Fri, 24 Mar 2023 04:58:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 15:34:23.342825
• Title: Seeing Through the Glass: Neural 3D Reconstruction of Object Inside a Transparent Container
• Title（参考訳）: ガラスを通して見る:透明な容器の中の物体のニューラルな3D再構成
• Authors: Jinguang Tong, Sundaram Muthu, Fahira Afzal Maken, Chuong Nguyen, Hongdong Li
• Abstract要約: 透明な囲いは、異なる伝搬媒質間の界面に複数の光反射と屈折の挑戦を引き起こす。 我々は、内部部分空間の幾何学と外観を暗黙的に表現する既存のニューラル再構成法(NeuS)を用いる。 複雑な光相互作用を説明するため,ボリュームレンダリングとレイトレーシングを組み合わせたハイブリッドレンダリング戦略を開発した。
• 参考スコア（独自算出の注目度）: 61.50401406132946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we define a new problem of recovering the 3D geometry of an object confined in a transparent enclosure. We also propose a novel method for solving this challenging problem. Transparent enclosures pose challenges of multiple light reflections and refractions at the interface between different propagation media e.g. air or glass. These multiple reflections and refractions cause serious image distortions which invalidate the single viewpoint assumption. Hence the 3D geometry of such objects cannot be reliably reconstructed using existing methods, such as traditional structure from motion or modern neural reconstruction methods. We solve this problem by explicitly modeling the scene as two distinct sub-spaces, inside and outside the transparent enclosure. We use an existing neural reconstruction method (NeuS) that implicitly represents the geometry and appearance of the inner subspace. In order to account for complex light interactions, we develop a hybrid rendering strategy that combines volume rendering with ray tracing. We then recover the underlying geometry and appearance of the model by minimizing the difference between the real and hybrid rendered images. We evaluate our method on both synthetic and real data. Experiment results show that our method outperforms the state-of-the-art (SOTA) methods. Codes and data will be available at https://github.com/hirotong/ReNeuS
• Abstract（参考訳）: 本稿では,透明な囲いの中に閉じ込められた物体の3次元形状を復元する新たな問題を定義する。 また,この課題を解決するための新しい手法を提案する。 透明な囲いは、空気やガラスなどの異なる伝搬媒体間の界面における複数の光反射と屈折の課題をもたらす。 これらの多重反射と屈折は深刻な画像歪みを引き起こし、単一の視点仮定を無効にする。 したがって、これらの物体の3次元形状は、運動による伝統的な構造や現代の神経再構成法といった既存の手法で確実に再構築することはできない。 この問題を、透明な囲いの内部と外側の2つの異なる部分空間として明示的にモデル化することで解決する。 我々は,内部部分空間の形状と外観を暗黙的に表現する既存のニューラルリコンストラクション法(neus)を用いる。 複雑な光相互作用を説明するため,ボリュームレンダリングとレイトレーシングを組み合わせたハイブリッドレンダリング戦略を開発した。 次に,実画像とハイブリッド画像の違いを最小化することで,モデルの基本形状と外観を復元する。 本手法を合成データと実データの両方で評価する。 実験の結果,本手法は最先端(SOTA)法よりも優れていた。 コードとデータはhttps://github.com/hirotong/ReNeuSで入手できる。

関連論文リスト

• Multi-times Monte Carlo Rendering for Inter-reflection Reconstruction [51.911195773164245]
  逆レンダリング法は、非絡み合ったジオメトリー、材料、環境光で高忠実度3Dオブジェクトを再構成する際、顕著な性能を実現している。 環境照明を総合的に計算するマルチタイムモンテカルロサンプリングを導入したRef-MC2を提案する。 また,本手法のアンタングル化能力を示すために,リライティングや素材編集などのダウンストリームアプリケーションも紹介する。
  論文  参考訳（メタデータ） (2024-07-08T09:27:34Z)
• NEMTO: Neural Environment Matting for Novel View and Relighting Synthesis of Transparent Objects [28.62468618676557]
  我々は3次元透明物体をモデル化する最初のエンドツーエンドニューラルネットワークパイプラインであるNEMTOを提案する。 透明物体の2次元像を入力として, 高品質な新規ビューと光合成が可能となる。
  論文  参考訳（メタデータ） (2023-03-21T15:50:08Z)
• NeTO:Neural Reconstruction of Transparent Objects with Self-Occlusion Aware Refraction-Tracing [44.22576861939435]
  ボリュームレンダリングによる2次元画像から固体透明物体の3次元形状を抽出する新手法NeTOを提案する。 提案手法は, 忠実な復元結果を達成し, 先行作業よりも大きなマージンで性能を向上する。
  論文  参考訳（メタデータ） (2023-03-20T15:50:00Z)
• S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a Single Viewpoint [22.42916940712357]
  本手法は,シーンの3次元形状とBRDFを表現するために,ニューラルリフレクタンス場を学習する。 本手法は,一視点画像からシーンの可視部分と可視部分の両方を含む3次元形状を復元することができる。 新規ビュー合成やリライトといったアプリケーションをサポートする。
  論文  参考訳（メタデータ） (2022-10-17T11:01:52Z)
• Towards High-Fidelity Single-view Holistic Reconstruction of Indoor Scenes [50.317223783035075]
  単視点画像から総合的な3次元屋内シーンを再構築するための新しい枠組みを提案する。 詳細なオブジェクト再構成のためのインスタンス整列型暗黙関数(InstPIFu)を提案する。 私たちのコードとモデルは公開されます。
  論文  参考訳（メタデータ） (2022-07-18T14:54:57Z)
• SNeS: Learning Probably Symmetric Neural Surfaces from Incomplete Data [77.53134858717728]
  我々はニューラルレイディアンスフィールド(NeRF)のようなニューラルリコンストラクションとレンダリングの最近の進歩の強みの上に構築する。 我々は3次元形状と材料特性にソフト対称性の制約を適用し,光,アルベド色,反射率に分解された外観を有する。 保存されていない領域を高い忠実度で再構成し、高品質な新しいビュー画像を作成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-13T17:37:50Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Shape From Tracing: Towards Reconstructing 3D Object Geometry and SVBRDF Material from Images via Differentiable Path Tracing [16.975014467319443]
  識別可能なパストレースは、複雑な外観効果を再現できるため、魅力的なフレームワークである。 本稿では,初期粗いメッシュとメッシュファセット単位の材料表現を改良するために,微分可能なレイトレーシングを利用する方法を示す。 また、制約のない環境下での現実世界の物体の初期再構成を洗練させる方法についても示す。
  論文  参考訳（メタデータ） (2020-12-06T18:55:35Z)
• Through the Looking Glass: Neural 3D Reconstruction of Transparent Shapes [75.63464905190061]
  屈折と反射によって誘導される複雑な光路は、従来の多視点ステレオと深いステレオの両方がこの問題を解決するのを妨げている。 携帯電話カメラで取得したいくつかの画像を用いて透明物体の3次元形状を復元する物理ネットワークを提案する。 5-12個の自然画像を用いて, 複雑な透明形状に対する高品質な3次元形状の復元に成功した。
  論文  参考訳（メタデータ） (2020-04-22T23:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。