論文の概要: ENVIDR: Implicit Differentiable Renderer with Neural Environment
Lighting
- arxiv url: http://arxiv.org/abs/2303.13022v1
- Date: Thu, 23 Mar 2023 04:12:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 15:40:33.931107
- Title: ENVIDR: Implicit Differentiable Renderer with Neural Environment
Lighting
- Title(参考訳): ENVIDR:ニューラル環境照明付き難微分式レンダラー
- Authors: Ruofan Liang, Huiting Chen, Chunlin Li, Fan Chen, Selvakumar Panneer,
Nandita Vijaykumar
- Abstract要約: ENVIDRは、高精細な反射を伴う表面の高精細なレンダリングと再構成のためのレンダリングとモデリングのためのフレームワークである。
まず、表面光と環境光の相互作用を学習するために、分解レンダリングを用いた新しいニューラルネットワークを提案する。
次に、この学習されたニューラルサーフェスを利用して一般的なシーンを表現するSDFベースのニューラルサーフェスモデルを提案する。
- 参考スコア(独自算出の注目度): 9.145875902703345
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent advances in neural rendering have shown great potential for
reconstructing scenes from multiview images. However, accurately representing
objects with glossy surfaces remains a challenge for existing methods. In this
work, we introduce ENVIDR, a rendering and modeling framework for high-quality
rendering and reconstruction of surfaces with challenging specular reflections.
To achieve this, we first propose a novel neural renderer with decomposed
rendering components to learn the interaction between surface and environment
lighting. This renderer is trained using existing physically based renderers
and is decoupled from actual scene representations. We then propose an
SDF-based neural surface model that leverages this learned neural renderer to
represent general scenes. Our model additionally synthesizes indirect
illuminations caused by inter-reflections from shiny surfaces by marching
surface-reflected rays. We demonstrate that our method outperforms state-of-art
methods on challenging shiny scenes, providing high-quality rendering of
specular reflections while also enabling material editing and scene relighting.
- Abstract(参考訳): ニューラルレンダリングの最近の進歩は、マルチビュー画像からシーンを再構成する大きな可能性を示している。
しかし、光沢のある表面を持つオブジェクトを正確に表現することは、既存の手法の課題である。
本稿では,鏡面反射に挑戦し,高品質なレンダリングと再構成を行うためのレンダリングおよびモデリングフレームワークであるenvidrを紹介する。
そこで我々はまず,分解されたレンダリング部品を用いたニューラルレンダラーを提案し,表面光と環境光の相互作用を学習する。
このレンダラは、既存の物理ベースのレンダラを使用してトレーニングされ、実際のシーン表現から分離される。
そこで我々は,この学習したニューラルレンダラを利用して一般場面を表現するsdfベースのニューラルサーフェスモデルを提案する。
また, 反射面からの反射が反射面をマーチングすることによって生じる間接的照度を合成する。
提案手法は,光沢のあるシーンに挑戦する最先端の手法よりも優れており,高画質な反射表示を実現するとともに,素材編集やシーンライティングも実現している。
関連論文リスト
- Light Sampling Field and BRDF Representation for Physically-based Neural
Rendering [4.440848173589799]
物理ベースのレンダリング(PBR)は、コンピュータグラフィックス資産の詳細な現実的なシーンを展示するために業界で広く使われている没入型レンダリングエフェクトの鍵である。
本稿では,学習光サンプリングフィールドにおける光サンプリング戦略を通じて,直接的および間接的な光を局所的にモデル化する新しい照明表現を提案する。
次に,提案した表現を,標準の顔アセットとHDRIを入力とし,出力として写真リアリスティックなレンダリングを生成する,エンドツーエンドの物理ベースニューラルフェイススキンシェーダを用いて実装する。
論文 参考訳(メタデータ) (2023-04-11T19:54:50Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳(メタデータ) (2023-04-06T17:51:54Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳(メタデータ) (2021-10-30T01:59:39Z) - NeRS: Neural Reflectance Surfaces for Sparse-view 3D Reconstruction in
the Wild [80.09093712055682]
ニューラルリフレクタンスサーフェス(NeRS)と呼ばれる暗黙モデルの表面アナログを導入する。
NeRSは、球に微分される閉じた表面の神経形状の表現を学び、水密な再構成を保証する。
このようなデータから学習可能な表面ベースニューラル再構成は,体積的ニューラルレンダリングに基づく再構成よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-10-14T17:59:58Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-05-06T04:16:06Z) - Neural Ray-Tracing: Learning Surfaces and Reflectance for Relighting and
View Synthesis [28.356700318603565]
シーン間の光輸送を明示的にモデル化し、従来の統合スキームとレンダリング方程式に頼ってシーンを再構成します。
従来のレンダリング法で確立された表面表現による分解輸送を学習することにより、自然に形状、反射性、照明、シーン構成の編集が容易になる。
提案手法は,NERVデータセットのサブセットの合成およびキャプチャビューから得られたシーン編集,リライティング,リフレクタンス推定に有効である。
論文 参考訳(メタデータ) (2021-04-28T03:47:48Z) - Neural Lumigraph Rendering [33.676795978166375]
最先端の(SOTA)ニューラルボリュームレンダリングアプローチは、トレーニングが遅く、高い画像解像度のために数分の推論(レンダリング)時間を必要とします。
本研究では,2次元画像のみを監督するシーンの暗黙の面と放射界を協調的に最適化するために,周期的アクティベーションを伴う高容量なニューラルシーン表現を採用する。
我々のニューラルレンダリングパイプラインは、SOTAニューラルボリュームレンダリングを約2桁加速し、暗黙のサーフェス表現は、ビュー依存テクスチャ情報によるメッシュのエクスポートを可能にするユニークなものです。
論文 参考訳(メタデータ) (2021-03-22T03:46:05Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳(メタデータ) (2020-08-09T22:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。