論文の概要: Through the Looking Glass: Neural 3D Reconstruction of Transparent Shapes

• arxiv url: http://arxiv.org/abs/2004.10904v2
• Date: Thu, 23 Jul 2020 05:54:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 18:40:05.727417
• Title: Through the Looking Glass: Neural 3D Reconstruction of Transparent Shapes
• Title（参考訳）: 透明な形状の神経3d再構築
• Authors: Zhengqin Li, Yu-Ying Yeh, Manmohan Chandraker
• Abstract要約: 屈折と反射によって誘導される複雑な光路は、従来の多視点ステレオと深いステレオの両方がこの問題を解決するのを妨げている。 携帯電話カメラで取得したいくつかの画像を用いて透明物体の3次元形状を復元する物理ネットワークを提案する。 5-12個の自然画像を用いて, 複雑な透明形状に対する高品質な3次元形状の復元に成功した。
• 参考スコア（独自算出の注目度）: 75.63464905190061
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recovering the 3D shape of transparent objects using a small number of unconstrained natural images is an ill-posed problem. Complex light paths induced by refraction and reflection have prevented both traditional and deep multiview stereo from solving this challenge. We propose a physically-based network to recover 3D shape of transparent objects using a few images acquired with a mobile phone camera, under a known but arbitrary environment map. Our novel contributions include a normal representation that enables the network to model complex light transport through local computation, a rendering layer that models refractions and reflections, a cost volume specifically designed for normal refinement of transparent shapes and a feature mapping based on predicted normals for 3D point cloud reconstruction. We render a synthetic dataset to encourage the model to learn refractive light transport across different views. Our experiments show successful recovery of high-quality 3D geometry for complex transparent shapes using as few as 5-12 natural images. Code and data are publicly released.
• Abstract（参考訳）: 少数の制約のない自然画像を用いて透明物体の3次元形状を復元することは不適切な問題である。 屈折と反射によって引き起こされる複雑な光路は、従来のマルチビューステレオとディープマルチビューステレオの両方がこの課題を解決するのを妨げている。 携帯電話カメラで取得したいくつかの画像を用いて,任意の環境マップを用いて,透明物体の3次元形状を復元する物理ネットワークを提案する。 我々の新しいコントリビューションには、局所的な計算による複雑な光輸送のモデル化を可能にする正規表現、屈折と反射をモデル化するレンダリング層、透明な形状の正規化のために特別に設計されたコストボリューム、3Dポイントクラウド再構成のための予測正規に基づく特徴マッピングが含まれる。 合成データセットを描画し、異なるビューにわたる屈折光輸送を学習するようモデルに促す。 5-12個の自然画像を用いて, 複雑な透明形状に対する高品質な3次元形状の復元に成功した。 コードとデータは公開されています。

関連論文リスト

• NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
  NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。 偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。 我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
  論文  参考訳（メタデータ） (2024-06-11T09:53:18Z)
• Holistic Inverse Rendering of Complex Facade via Aerial 3D Scanning [38.72679977945778]
  我々は多視点空中画像を用いて、ニューラルサイン距離場(SDF)を用いたファサードの形状、照明、材料を再構成する。 本実験は, ファサード全体の逆レンダリング, 新規なビュー合成, シーン編集において, 最先端のベースラインと比較して, 手法の優れた品質を示すものである。
  論文  参考訳（メタデータ） (2023-11-20T15:03:56Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• NEMTO: Neural Environment Matting for Novel View and Relighting Synthesis of Transparent Objects [28.62468618676557]
  我々は3次元透明物体をモデル化する最初のエンドツーエンドニューラルネットワークパイプラインであるNEMTOを提案する。 透明物体の2次元像を入力として, 高品質な新規ビューと光合成が可能となる。
  論文  参考訳（メタデータ） (2023-03-21T15:50:08Z)
• Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement [78.48648360358193]
  画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。 我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。 ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
  論文  参考訳（メタデータ） (2023-03-03T17:14:44Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Shape From Tracing: Towards Reconstructing 3D Object Geometry and SVBRDF Material from Images via Differentiable Path Tracing [16.975014467319443]
  識別可能なパストレースは、複雑な外観効果を再現できるため、魅力的なフレームワークである。 本稿では,初期粗いメッシュとメッシュファセット単位の材料表現を改良するために,微分可能なレイトレーシングを利用する方法を示す。 また、制約のない環境下での現実世界の物体の初期再構成を洗練させる方法についても示す。
  論文  参考訳（メタデータ） (2020-12-06T18:55:35Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)
• Multiview Neural Surface Reconstruction by Disentangling Geometry and Appearance [46.488713939892136]
  我々は、未知の幾何学、カメラパラメータ、および表面からカメラに向かって反射された光を近似するニューラルネットワークを同時に学習するニューラルネットワークを導入する。 我々は、DTU MVSデータセットから、異なる素材特性、照明条件、ノイズの多いカメラ素材を実世界の2D画像でトレーニングした。
  論文  参考訳（メタデータ） (2020-03-22T10:20:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。