論文の概要: NEMTO: Neural Environment Matting for Novel View and Relighting Synthesis of Transparent Objects

• arxiv url: http://arxiv.org/abs/2303.11963v2
• Date: Thu, 4 Apr 2024 15:10:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 20:51:58.983764
• Title: NEMTO: Neural Environment Matting for Novel View and Relighting Synthesis of Transparent Objects
• Title（参考訳）: NEMTO: 透明物体の新しい視界と光合成のためのニューラル環境マッチング
• Authors: Dongqing Wang, Tong Zhang, Sabine Süsstrunk,
• Abstract要約: 我々は3次元透明物体をモデル化する最初のエンドツーエンドニューラルネットワークパイプラインであるNEMTOを提案する。 透明物体の2次元像を入力として, 高品質な新規ビューと光合成が可能となる。
• 参考スコア（独自算出の注目度）: 28.62468618676557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose NEMTO, the first end-to-end neural rendering pipeline to model 3D transparent objects with complex geometry and unknown indices of refraction. Commonly used appearance modeling such as the Disney BSDF model cannot accurately address this challenging problem due to the complex light paths bending through refractions and the strong dependency of surface appearance on illumination. With 2D images of the transparent object as input, our method is capable of high-quality novel view and relighting synthesis. We leverage implicit Signed Distance Functions (SDF) to model the object geometry and propose a refraction-aware ray bending network to model the effects of light refraction within the object. Our ray bending network is more tolerant to geometric inaccuracies than traditional physically-based methods for rendering transparent objects. We provide extensive evaluations on both synthetic and real-world datasets to demonstrate our high-quality synthesis and the applicability of our method.
• Abstract（参考訳）: 我々は、複雑な幾何学と未知の屈折率を持つ3次元透明物体をモデル化するための、最初のエンドツーエンドニューラルネットワークパイプラインであるNEMTOを提案する。 Disney BSDF モデルのような一般的な外観モデルでは、屈折によって曲げられる複雑な光路や、表面の外観が照明に強く依存するため、この問題に正確に対処することはできない。 透明物体の2次元像を入力として, 高品質な新規ビューと光合成が可能となる。 本研究では、暗黙的符号距離関数(SDF)を用いて物体形状をモデル化し、物体内部の光屈折の影響をモデル化する屈折型光曲げネットワークを提案する。 我々のレイ曲げネットワークは、透明物体をレンダリングする従来の物理的手法よりも、幾何学的不正確性に寛容である。 合成データセットと実世界のデータセットについて広範囲な評価を行い、高品質な合成と本手法の適用性を実証する。

関連論文リスト

• Inverse Rendering of Glossy Objects via the Neural Plenoptic Function and Radiance Fields [45.64333510966844]
  逆レンダリングは、オブジェクトの幾何学と材料の両方を復元することを目的としている。 我々は、NeRFとレイトレーシングに基づく新しい5次元ニューラルプレノプティクス関数(NeP)を提案する。 本手法は, 近くの物体からの複雑な光の相互作用により, 難解な光沢のある物体の高忠実な形状・材料を再構成することができる。
  論文  参考訳（メタデータ） (2024-03-24T16:34:47Z)
• Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based View Synthesis [70.40950409274312]
  我々は、細い構造を再構築する能力を損なうことなく、表面への収束を促すために密度場を変更する。 また, メッシュの単純化と外観モデルの適合により, 融合型メッシュ方式を開発した。 私たちのモデルで生成されたコンパクトメッシュは、モバイルデバイス上でリアルタイムでレンダリングできます。
  論文  参考訳（メタデータ） (2024-02-19T18:59:41Z)
• Neural Radiance Fields for Transparent Object Using Visual Hull [0.8158530638728501]
  最近導入されたNeural Radiance Fields (NeRF) はビュー合成法である。 まず,透明物体の3次元形状を視覚的包絡を用いて再構成する。 第二に、スネルの法則に従って透明物体の内部の光線の屈折をシミュレートする。最後に、屈折した光線を通して点をサンプリングし、それをNeRFに挿入する。
  論文  参考訳（メタデータ） (2023-12-13T13:15:19Z)
• NeRRF: 3D Reconstruction and View Synthesis for Transparent and Specular Objects with Neural Refractive-Reflective Fields [23.099784003061618]
  ニューラル放射場(NeRF)に屈折反射場を導入する NeRFは直線線を使用し、屈折や反射によって引き起こされる複雑な光路の変化に対処できない。 本稿では,効果的かつ効果的なアンチエイリアスを実現するための仮想コーンスーパーサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-22T17:59:12Z)
• Neural Relighting with Subsurface Scattering by Learning the Radiance Transfer Gradient [73.52585139592398]
  本稿では,ボリュームレンダリングによる放射移動場学習のための新しいフレームワークを提案する。 我々は、我々のコードと、地下散乱効果を持つ新しい光ステージのオブジェクトデータセットを公開します。
  論文  参考訳（メタデータ） (2023-06-15T17:56:04Z)
• Seeing Through the Glass: Neural 3D Reconstruction of Object Inside a Transparent Container [61.50401406132946]
  透明な囲いは、異なる伝搬媒質間の界面に複数の光反射と屈折の挑戦を引き起こす。 我々は、内部部分空間の幾何学と外観を暗黙的に表現する既存のニューラル再構成法(NeuS)を用いる。 複雑な光相互作用を説明するため,ボリュームレンダリングとレイトレーシングを組み合わせたハイブリッドレンダリング戦略を開発した。
  論文  参考訳（メタデータ） (2023-03-24T04:58:27Z)
• NeTO:Neural Reconstruction of Transparent Objects with Self-Occlusion Aware Refraction-Tracing [44.22576861939435]
  ボリュームレンダリングによる2次元画像から固体透明物体の3次元形状を抽出する新手法NeTOを提案する。 提案手法は, 忠実な復元結果を達成し, 先行作業よりも大きなマージンで性能を向上する。
  論文  参考訳（メタデータ） (2023-03-20T15:50:00Z)
• Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
  本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。 副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
  論文  参考訳（メタデータ） (2022-12-09T07:33:49Z)
• NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination [60.89737319987051]
  照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。 これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
  論文  参考訳（メタデータ） (2021-06-03T16:18:01Z)
• Through the Looking Glass: Neural 3D Reconstruction of Transparent Shapes [75.63464905190061]
  屈折と反射によって誘導される複雑な光路は、従来の多視点ステレオと深いステレオの両方がこの問題を解決するのを妨げている。 携帯電話カメラで取得したいくつかの画像を用いて透明物体の3次元形状を復元する物理ネットワークを提案する。 5-12個の自然画像を用いて, 複雑な透明形状に対する高品質な3次元形状の復元に成功した。
  論文  参考訳（メタデータ） (2020-04-22T23:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。