論文の概要: Relit-NeuLF: Efficient Relighting and Novel View Synthesis via Neural 4D Light Field

• arxiv url: http://arxiv.org/abs/2310.14642v1
• Date: Mon, 23 Oct 2023 07:29:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 21:48:20.239491
• Title: Relit-NeuLF: Efficient Relighting and Novel View Synthesis via Neural 4D Light Field
• Title（参考訳）: Relit-NeuLF: ニューラルネットワークによる効率的なリライティングと新しいビュー合成
• Authors: Zhong Li, Liangchen Song, Zhang Chen, Xiangyu Du, Lele Chen, Junsong Yuan, Yi Xu
• Abstract要約: 本稿ではRelit-NeuLFと呼ばれる分析合成手法を提案する。 まず、4次元座標系で各光線をパラメータ化し、効率的な学習と推論を可能にする。 総合的な実験により,提案手法は合成データと実世界の顔データの両方において効率的かつ効果的であることが実証された。
• 参考スコア（独自算出の注目度）: 69.90548694719683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we address the problem of simultaneous relighting and novel view synthesis of a complex scene from multi-view images with a limited number of light sources. We propose an analysis-synthesis approach called Relit-NeuLF. Following the recent neural 4D light field network (NeuLF), Relit-NeuLF first leverages a two-plane light field representation to parameterize each ray in a 4D coordinate system, enabling efficient learning and inference. Then, we recover the spatially-varying bidirectional reflectance distribution function (SVBRDF) of a 3D scene in a self-supervised manner. A DecomposeNet learns to map each ray to its SVBRDF components: albedo, normal, and roughness. Based on the decomposed BRDF components and conditioning light directions, a RenderNet learns to synthesize the color of the ray. To self-supervise the SVBRDF decomposition, we encourage the predicted ray color to be close to the physically-based rendering result using the microfacet model. Comprehensive experiments demonstrate that the proposed method is efficient and effective on both synthetic data and real-world human face data, and outperforms the state-of-the-art results. We publicly released our code on GitHub. You can find it here: https://github.com/oppo-us-research/RelitNeuLF
• Abstract（参考訳）: 本稿では,光源数に制限のある多視点画像から複雑なシーンの同時リライティングと新規ビュー合成の問題に対処する。 本稿ではRelit-NeuLFと呼ばれる分析合成手法を提案する。 最近のニューラル4D光電場ネットワーク(NeuLF)に続いて、Relit-NeuLFはまず2面の光電場表現を利用して4D座標系の各光線をパラメータ化し、効率的な学習と推論を可能にする。 次に、3次元シーンの空間変動双方向反射率分布関数(svbrdf)を自己教師ありで復元する。 decomposenetは各レイをalbedo, normal, roughnessといったsvbrdfコンポーネントにマップすることを学ぶ。 分解されたBRDF成分と光方向の条件付けに基づいて、RenderNetは光線の色を合成する。 SVBRDF分解を自己監督するために,マイクロファセットモデルを用いて,予測光線色を物理ベースレンダリング結果に近い色にすることを推奨する。 総合的な実験により,提案手法は合成データと実世界の顔データの両方において効率的かつ効果的であり,最先端の結果を上回っていることが示された。 私たちはコードをgithubで公開しました。 https://github.com/oppo-us-research/RelitNeuLF

関連論文リスト

• Free3D: Consistent Novel View Synthesis without 3D Representation [63.931920010054064]
  Free3Dは単分子開集合新規ビュー合成(NVS)の簡易的高精度な方法である 同様のアプローチを採った他の作品と比較して,明快な3D表現に頼らずに大幅な改善が得られた。
  論文  参考訳（メタデータ） (2023-12-07T18:59:18Z)
• Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis [80.3686833921072]
  最近のニューラルレンダリングや、NeRFsやGaussian Splattingのような再構成技術は、目覚ましいビュー合成能力を示している。 画像が少ないほど、これらの手法は、基礎となる3D幾何学を正しく三角測量できないため、失敗し始めます。 本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
  論文  参考訳（メタデータ） (2023-12-04T18:56:08Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis [35.035125537722514]
  ビュー合成のためのカスケードおよび一般化可能なニューラル放射場法であるCG-NeRFを提案する。 DTUデータセットの複数の3DシーンでCG-NeRFをトレーニングする。 CG-NeRFは、様々な合成および実データに対して、最先端の一般化可能なニューラルネットワークレンダリング手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-09T12:23:48Z)
• Learning Generalizable Light Field Networks from Few Images [7.672380267651058]
  ニューラル光場表現に基づく数発の新規ビュー合成のための新しい戦略を提案する。 提案手法は,最先端のニューラルラジアンスフィールドに基づく競合に対して,合成および実MVSデータ上での競合性能を実現する。
  論文  参考訳（メタデータ） (2022-07-24T14:47:11Z)
• Generalizable Patch-Based Neural Rendering [46.41746536545268]
  未知のシーンの新たなビューを合成できるモデル学習のための新しいパラダイムを提案する。 本手法は,シーンから採取したパッチの集合からのみ,新規シーンにおける対象光線の色を直接予測することができる。 本手法は,従来よりも少ないデータでトレーニングされた場合であっても,目立たないシーンの新たなビュー合成において,最先端のビュー合成よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-21T17:57:04Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Light Field Networks: Neural Scene Representations with Single-Evaluation Rendering [60.02806355570514]
  2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。 そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。 LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
  論文  参考訳（メタデータ） (2021-06-04T17:54:49Z)
• NeLF: Practical Novel View Synthesis with Neural Light Field [93.41020940730915]
  複雑なシーンの新規なビュー合成のための実用的で堅牢なディープラーニングソリューションを提案する。 我々のアプローチでは、連続的なシーンは光場、すなわち光線の集合として表現され、それぞれが対応する色を持つ。 インタラクティブなフレームレートを維持しながら、最新の新しいビュー合成結果を実現します。
  論文  参考訳（メタデータ） (2021-05-15T01:20:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。