論文の概要: Learning Object-Centric Neural Scattering Functions for Free-viewpoint
Relighting and Scene Composition
- arxiv url: http://arxiv.org/abs/2303.06138v2
- Date: Mon, 5 Jun 2023 06:37:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 02:25:38.675681
- Title: Learning Object-Centric Neural Scattering Functions for Free-viewpoint
Relighting and Scene Composition
- Title（参考訳）: 自由視点照明とシーン構成のための物体中心神経散乱関数の学習
- Authors: Hong-Xing Yu, Michelle Guo, Alireza Fathi, Yen-Yu Chang, Eric Ryan
Chan, Ruohan Gao, Thomas Funkhouser, Jiajun Wu
- Abstract要約: 本稿では,物体の外観を画像のみから再構成する物体中心型ニューラル散乱関数を提案する。
OSFは、自由視点オブジェクトのリライトをサポートするが、不透明なオブジェクトと半透明なオブジェクトの両方をモデル化することもできる。
実データと合成データの実験では、OSFは不透明な物体と半透明な物体の両方の外観を正確に再構成している。
- 参考スコア（独自算出の注目度）: 31.946010957023972
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Photorealistic object appearance modeling from 2D images is a constant topic
in vision and graphics. While neural implicit methods (such as Neural Radiance
Fields) have shown high-fidelity view synthesis results, they cannot relight
the captured objects. More recent neural inverse rendering approaches have
enabled object relighting, but they represent surface properties as simple
BRDFs, and therefore cannot handle translucent objects. We propose
Object-Centric Neural Scattering Functions (OSFs) for learning to reconstruct
object appearance from only images. OSFs not only support free-viewpoint object
relighting, but also can model both opaque and translucent objects. While
accurately modeling subsurface light transport for translucent objects can be
highly complex and even intractable for neural methods, OSFs learn to
approximate the radiance transfer from a distant light to an outgoing direction
at any spatial location. This approximation avoids explicitly modeling complex
subsurface scattering, making learning a neural implicit model tractable.
Experiments on real and synthetic data show that OSFs accurately reconstruct
appearances for both opaque and translucent objects, allowing faithful
free-viewpoint relighting as well as scene composition. Project website:
https://kovenyu.com/osf/
- Abstract（参考訳）: 2次元画像からのフォトリアリスティックオブジェクトの外観モデリングは、視覚とグラフィックスにおいて一定のトピックである。
ニューラルネットワークの暗黙的手法(ニューラルネットワークの放射場など)は高忠実度なビュー合成結果を示しているが、捕獲されたオブジェクトをリフレッシュすることはできない。
より最近のニューラルネットワークの逆レンダリング手法は、物体の照準を可能にするが、表面特性を単純なBRDFとして表すため、半透明物体を扱えない。
画像のみからオブジェクトの外観を再構築する学習のためのオブジェクト指向ニューラル散乱関数(OSF)を提案する。
OSFは、自由視点オブジェクトのリライトだけでなく、不透明なオブジェクトと半透明なオブジェクトの両方をモデル化できる。
半透明物体の地下光輸送を正確にモデル化することは、非常に複雑で、神経学的手法でも難解であるが、OSFは、遠方の光から任意の空間的位置における出射方向への放射移動を近似することを学ぶ。
この近似は、複雑な地下散乱を明示的にモデル化することを避け、ニューラルネットワークの暗黙モデルを学ぶことができる。
実データと合成データの実験により、OSFは不透明な物体と半透明な物体の両方の外観を正確に再構成し、忠実な自由視点のリライティングとシーン構成を可能にした。
プロジェクトウェブサイト: https://kovenyu.com/osf/
関連論文リスト
- Relighting Scenes with Object Insertions in Neural Radiance Fields [24.18050535794117]
本研究では,物体のNeRFをシーンのNeRFに挿入するための新しいNeRFパイプラインを提案する。
提案手法は,広範囲な実験評価において,現実的な照明効果を実現する。
論文 参考訳（メタデータ） (2024-06-21T00:58:58Z) - NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。
我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。
このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
論文 参考訳（メタデータ） (2024-05-23T17:59:57Z) - Inverse Rendering of Glossy Objects via the Neural Plenoptic Function and Radiance Fields [45.64333510966844]
逆レンダリングは、オブジェクトの幾何学と材料の両方を復元することを目的としている。
我々は、NeRFとレイトレーシングに基づく新しい5次元ニューラルプレノプティクス関数(NeP)を提案する。
本手法は, 近くの物体からの複雑な光の相互作用により, 難解な光沢のある物体の高忠実な形状・材料を再構成することができる。
論文 参考訳（メタデータ） (2024-03-24T16:34:47Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - NEMTO: Neural Environment Matting for Novel View and Relighting Synthesis of Transparent Objects [28.62468618676557]
我々は3次元透明物体をモデル化する最初のエンドツーエンドニューラルネットワークパイプラインであるNEMTOを提案する。
透明物体の2次元像を入力として, 高品質な新規ビューと光合成が可能となる。
論文 参考訳（メタデータ） (2023-03-21T15:50:08Z) - NeRS: Neural Reflectance Surfaces for Sparse-view 3D Reconstruction in
the Wild [80.09093712055682]
ニューラルリフレクタンスサーフェス(NeRS)と呼ばれる暗黙モデルの表面アナログを導入する。
NeRSは、球に微分される閉じた表面の神経形状の表現を学び、水密な再構成を保証する。
このようなデータから学習可能な表面ベースニューラル再構成は,体積的ニューラルレンダリングに基づく再構成よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-10-14T17:59:58Z) - NeRFactor: Neural Factorization of Shape and Reflectance Under an
Unknown Illumination [60.89737319987051]
照明条件が不明な物体の多視点像から物体の形状と空間的反射率を復元する問題に対処する。
これにより、任意の環境照明下でのオブジェクトの新たなビューのレンダリングや、オブジェクトの材料特性の編集が可能になる。
論文 参考訳（メタデータ） (2021-06-03T16:18:01Z) - Object-Centric Neural Scene Rendering [19.687759175741824]
本稿では,物体の撮影画像から写実的シーンを構成する手法を提案する。
私たちの研究は、暗黙的にシーンの体積密度と方向発光放射をモデル化するニューラル・ラジアンス・フィールド(NeRF)に基づいています。
我々は、オブジェクトごとの光輸送を暗黙的に、照明とビューに依存したニューラルネットワークを使ってモデル化する、オブジェクト指向神経散乱関数(OSFs)を学習する。
論文 参考訳（メタデータ） (2020-12-15T18:55:02Z) - DeFMO: Deblurring and Shape Recovery of Fast Moving Objects [139.67524021201103]
生成モデルは、ぼやけたオブジェクトのイメージを潜在空間表現に埋め込み、背景を歪め、シャープな外観を描画する。
DeFMOは芸術の状態を上回り、高品質の時間超解像フレームを生成する。
論文 参考訳（メタデータ） (2020-12-01T16:02:04Z) - Category Level Object Pose Estimation via Neural Analysis-by-Synthesis [64.14028598360741]
本稿では、勾配に基づくフィッティング法とパラメトリックニューラルネットワーク合成モジュールを組み合わせる。
画像合成ネットワークは、ポーズ設定空間を効率的に分散するように設計されている。
本研究では,2次元画像のみから高精度に物体の向きを復元できることを実験的に示す。
論文 参考訳（メタデータ） (2020-08-18T20:30:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。