論文の概要: NEMTO: Neural Environment Matting for Novel View and Relighting
Synthesis of Transparent Objects
- arxiv url: http://arxiv.org/abs/2303.11963v1
- Date: Tue, 21 Mar 2023 15:50:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 14:10:13.118753
- Title: NEMTO: Neural Environment Matting for Novel View and Relighting
Synthesis of Transparent Objects
- Title(参考訳): NEMTO: 透明物体の新しい視界と光合成のためのニューラル環境マッチング
- Authors: Dongqing Wang, Tong Zhang, Sabine S\"usstrunk
- Abstract要約: 我々は3次元透明物体をモデル化する最初のエンドツーエンドニューラルネットワークパイプラインであるNEMTOを提案する。
透明物体の2次元像を入力として, 高品質な新規ビューと光合成が可能となる。
- 参考スコア(独自算出の注目度): 14.106019246566262
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose NEMTO, the first end-to-end neural rendering pipeline to model 3D
transparent objects with complex geometry and unknown indices of refraction.
Commonly used appearance modeling such as the Disney BSDF model cannot
accurately address this challenging problem due to the complex light paths
bending through refractions and the strong dependency of surface appearance on
illumination. With 2D images of the transparent object as input, our method is
capable of high-quality novel view and relighting synthesis. We leverage
implicit Signed Distance Functions (SDF) to model the object geometry and
propose a refraction-aware ray bending network to model the effects of light
refraction within the object. Our ray bending network is more tolerant to
geometric inaccuracies than traditional physically-based methods for rendering
transparent objects. We provide extensive evaluations on both synthetic and
real-world datasets to demonstrate our high-quality synthesis and the
applicability of our method.
- Abstract(参考訳): 我々は、複雑な幾何学と未知の屈折率を持つ3次元透明物体をモデル化するための、最初のエンドツーエンドニューラルネットワークパイプラインであるNEMTOを提案する。
ディズニーbsdfモデルのような一般的な外観モデルは、屈折によって曲がる複雑な光路と、照明への表面外観の強い依存のため、この困難な問題に正確に対処できない。
透明物体の2次元像を入力として, 高品質な新規ビューと光合成が可能となる。
我々は,物体形状をモデル化するために暗黙符号付き距離関数(sdf)を利用し,物体内の光屈折の影響をモデル化する屈折検出光曲げネットワークを提案する。
我々のレイ曲げネットワークは、透明物体をレンダリングする従来の物理的手法よりも幾何学的不正確性に耐性がある。
我々は,合成データと実世界のデータの両方について広範な評価を行い,高品質な合成と本手法の適用性を示す。
関連論文リスト
- Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based
View Synthesis [70.40950409274312]
我々は、細い構造を再構築する能力を損なうことなく、表面への収束を促すために密度場を変更する。
また, メッシュの単純化と外観モデルの適合により, 融合型メッシュ方式を開発した。
私たちのモデルで生成されたコンパクトメッシュは、モバイルデバイス上でリアルタイムでレンダリングできます。
論文 参考訳(メタデータ) (2024-02-19T18:59:41Z) - Neural Radiance Fields for Transparent Object Using Visual Hull [0.8158530638728501]
最近導入されたNeural Radiance Fields (NeRF) はビュー合成法である。
まず,透明物体の3次元形状を視覚的包絡を用いて再構成する。
第二に、スネルの法則に従って透明物体の内部の光線の屈折をシミュレートする。最後に、屈折した光線を通して点をサンプリングし、それをNeRFに挿入する。
論文 参考訳(メタデータ) (2023-12-13T13:15:19Z) - NeRRF: 3D Reconstruction and View Synthesis for Transparent and Specular
Objects with Neural Refractive-Reflective Fields [23.099784003061618]
ニューラル放射場(NeRF)に屈折反射場を導入する
NeRFは直線線を使用し、屈折や反射によって引き起こされる複雑な光路の変化に対処できない。
本稿では,効果的かつ効果的なアンチエイリアスを実現するための仮想コーンスーパーサンプリング手法を提案する。
論文 参考訳(メタデータ) (2023-09-22T17:59:12Z) - Neural Relighting with Subsurface Scattering by Learning the Radiance
Transfer Gradient [73.52585139592398]
本稿では,ボリュームレンダリングによる放射移動場学習のための新しいフレームワークを提案する。
我々は、我々のコードと、地下散乱効果を持つ新しい光ステージのオブジェクトデータセットを公開します。
論文 参考訳(メタデータ) (2023-06-15T17:56:04Z) - Inverse Rendering of Translucent Objects using Physical and Neural
Renderers [13.706425832518093]
本研究では,半透明物体の1対の撮像画像のみから3次元形状,空間的反射率,均質散乱パラメータ,環境照度を推定する逆モデルを提案する。
2つの再構成は微分可能であるため、パラメータ推定を補助するために再構成損失を計算することができる。
我々は117Kシーンからなる半透明物体の大規模合成データセットを構築した。
論文 参考訳(メタデータ) (2023-05-15T04:03:11Z) - Seeing Through the Glass: Neural 3D Reconstruction of Object Inside a
Transparent Container [61.50401406132946]
透明な囲いは、異なる伝搬媒質間の界面に複数の光反射と屈折の挑戦を引き起こす。
我々は、内部部分空間の幾何学と外観を暗黙的に表現する既存のニューラル再構成法(NeuS)を用いる。
複雑な光相互作用を説明するため,ボリュームレンダリングとレイトレーシングを組み合わせたハイブリッドレンダリング戦略を開発した。
論文 参考訳(メタデータ) (2023-03-24T04:58:27Z) - NeTO:Neural Reconstruction of Transparent Objects with Self-Occlusion
Aware Refraction-Tracing [44.22576861939435]
ボリュームレンダリングによる2次元画像から固体透明物体の3次元形状を抽出する新手法NeTOを提案する。
提案手法は, 忠実な復元結果を達成し, 先行作業よりも大きなマージンで性能を向上する。
論文 参考訳(メタデータ) (2023-03-20T15:50:00Z) - Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。
副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
論文 参考訳(メタデータ) (2022-12-09T07:33:49Z) - NeRFactor: Neural Factorization of Shape and Reflectance Under an
Unknown Illumination [60.89737319987051]
照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。
これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
論文 参考訳(メタデータ) (2021-06-03T16:18:01Z) - Through the Looking Glass: Neural 3D Reconstruction of Transparent
Shapes [75.63464905190061]
屈折と反射によって誘導される複雑な光路は、従来の多視点ステレオと深いステレオの両方がこの問題を解決するのを妨げている。
携帯電話カメラで取得したいくつかの画像を用いて透明物体の3次元形状を復元する物理ネットワークを提案する。
5-12個の自然画像を用いて, 複雑な透明形状に対する高品質な3次元形状の復元に成功した。
論文 参考訳(メタデータ) (2020-04-22T23:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。