論文の概要: NeTO:Neural Reconstruction of Transparent Objects with Self-Occlusion Aware Refraction-Tracing

• arxiv url: http://arxiv.org/abs/2303.11219v3
• Date: Sun, 20 Aug 2023 16:32:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 00:47:21.227947
• Title: NeTO:Neural Reconstruction of Transparent Objects with Self-Occlusion Aware Refraction-Tracing
• Title（参考訳）: NeTO:自己閉塞を意識した透明物体のニューラル再構築
• Authors: Zongcheng Li, Xiaoxiao Long, Yusen Wang, Tuo Cao, Wenping Wang, Fei Luo and Chunxia Xiao
• Abstract要約: ボリュームレンダリングによる2次元画像から固体透明物体の3次元形状を抽出する新手法NeTOを提案する。 提案手法は, 忠実な復元結果を達成し, 先行作業よりも大きなマージンで性能を向上する。
• 参考スコア（独自算出の注目度）: 44.22576861939435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel method, called NeTO, for capturing 3D geometry of solid transparent objects from 2D images via volume rendering. Reconstructing transparent objects is a very challenging task, which is ill-suited for general-purpose reconstruction techniques due to the specular light transport phenomena. Although existing refraction-tracing based methods, designed specially for this task, achieve impressive results, they still suffer from unstable optimization and loss of fine details, since the explicit surface representation they adopted is difficult to be optimized, and the self-occlusion problem is ignored for refraction-tracing. In this paper, we propose to leverage implicit Signed Distance Function (SDF) as surface representation, and optimize the SDF field via volume rendering with a self-occlusion aware refractive ray tracing. The implicit representation enables our method to be capable of reconstructing high-quality reconstruction even with a limited set of images, and the self-occlusion aware strategy makes it possible for our method to accurately reconstruct the self-occluded regions. Experiments show that our method achieves faithful reconstruction results and outperforms prior works by a large margin. Visit our project page at \url{https://www.xxlong.site/NeTO/}
• Abstract（参考訳）: 本稿では,2次元画像から立体透明物体の3次元形状をボリュームレンダリングにより捉えるnetoという新しい手法を提案する。 透明物体の再構成は非常に困難な作業であり、光輸送現象による汎用的な再構築技術には不適当である。 この課題のために特別に設計された既存の屈折トラッキングベースの手法は印象的な結果をもたらすが、彼らが採用した明示的な表面表現は最適化が困難であり、自己遮蔽問題は屈折トラッシングでは無視されるため、依然として不安定な最適化と細部の減少に苦しむ。 本稿では,暗黙的符号距離関数(SDF)を表面表現として活用し,自己閉塞型屈折線トレーシングによるボリュームレンダリングによるSDFフィールドの最適化を提案する。 暗黙的表現により,限られた画像でも高品質な再構築が可能となり,自己排他的認識戦略により,自己排他的領域を正確に再構築することが可能となった。 実験により,本手法が忠実な再構築結果を達成し,先行研究よりも大きなマージンで上回ることを示した。 プロジェクトページは \url{https://www.xxlong.site/NeTO/} にある。

関連論文リスト

• Seeing Through the Glass: Neural 3D Reconstruction of Object Inside a Transparent Container [61.50401406132946]
  透明な囲いは、異なる伝搬媒質間の界面に複数の光反射と屈折の挑戦を引き起こす。 我々は、内部部分空間の幾何学と外観を暗黙的に表現する既存のニューラル再構成法(NeuS)を用いる。 複雑な光相互作用を説明するため,ボリュームレンダリングとレイトレーシングを組み合わせたハイブリッドレンダリング戦略を開発した。
  論文  参考訳（メタデータ） (2023-03-24T04:58:27Z)
• NEMTO: Neural Environment Matting for Novel View and Relighting Synthesis of Transparent Objects [28.62468618676557]
  我々は3次元透明物体をモデル化する最初のエンドツーエンドニューラルネットワークパイプラインであるNEMTOを提案する。 透明物体の2次元像を入力として, 高品質な新規ビューと光合成が可能となる。
  論文  参考訳（メタデータ） (2023-03-21T15:50:08Z)
• Self-calibrating Photometric Stereo by Neural Inverse Rendering [88.67603644930466]
  本稿では3次元オブジェクト再構成のための非校正光度ステレオの課題に取り組む。 本研究では,物体形状,光方向,光強度を協調的に最適化する手法を提案する。 本手法は,実世界のデータセット上での光推定と形状復元における最先端の精度を示す。
  論文  参考訳（メタデータ） (2022-07-16T02:46:15Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Dense Reconstruction of Transparent Objects by Altering Incident Light Paths Through Refraction [40.696591594772876]
  光の屈折に基づく透明物体の高密度表面再構成に対する固定的な視点アプローチを導入する。 我々は、物体を部分的に液体に浸すことで、光が物体に入る前に入射光路を変更することができる装置を提案する。
  論文  参考訳（メタデータ） (2021-05-20T19:01:12Z)
• Through the Looking Glass: Neural 3D Reconstruction of Transparent Shapes [75.63464905190061]
  屈折と反射によって誘導される複雑な光路は、従来の多視点ステレオと深いステレオの両方がこの問題を解決するのを妨げている。 携帯電話カメラで取得したいくつかの画像を用いて透明物体の3次元形状を復元する物理ネットワークを提案する。 5-12個の自然画像を用いて, 複雑な透明形状に対する高品質な3次元形状の復元に成功した。
  論文  参考訳（メタデータ） (2020-04-22T23:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。