論文の概要: Free-viewpoint Indoor Neural Relighting from Multi-view Stereo

• arxiv url: http://arxiv.org/abs/2106.13299v1
• Date: Thu, 24 Jun 2021 20:09:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 02:21:24.048837
• Title: Free-viewpoint Indoor Neural Relighting from Multi-view Stereo
• Title（参考訳）: マルチビューステレオからの自由視点屋内ニューラルライティング
• Authors: Julien Philip and S\'ebastien Morgenthaler and Micha\"el Gharbi and George Drettakis
• Abstract要約: 本稿では,対話型自由視点ナビゲーションが可能な屋内シーンを撮影するためのニューラルリライティングアルゴリズムを提案する。 本手法では, 鋳造影や複雑な光沢物質を連続的にレンダリングしながら, 照明を合成的に変化させることができる。
• 参考スコア（独自算出の注目度）: 5.306819482496464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a neural relighting algorithm for captured indoors scenes, that allows interactive free-viewpoint navigation. Our method allows illumination to be changed synthetically, while coherently rendering cast shadows and complex glossy materials. We start with multiple images of the scene and a 3D mesh obtained by multi-view stereo (MVS) reconstruction. We assume that lighting is well-explained as the sum of a view-independent diffuse component and a view-dependent glossy term concentrated around the mirror reflection direction. We design a convolutional network around input feature maps that facilitate learning of an implicit representation of scene materials and illumination, enabling both relighting and free-viewpoint navigation. We generate these input maps by exploiting the best elements of both image-based and physically-based rendering. We sample the input views to estimate diffuse scene irradiance, and compute the new illumination caused by user-specified light sources using path tracing. To facilitate the network's understanding of materials and synthesize plausible glossy reflections, we reproject the views and compute mirror images. We train the network on a synthetic dataset where each scene is also reconstructed with MVS. We show results of our algorithm relighting real indoor scenes and performing free-viewpoint navigation with complex and realistic glossy reflections, which so far remained out of reach for view-synthesis techniques.
• Abstract（参考訳）: 本稿では,対話型自由視点ナビゲーションが可能な屋内シーンを撮影するためのニューラルリライティングアルゴリズムを提案する。 本手法では,鋳物シャドウと複雑な光沢材料をコヒーレントにレンダリングしながら,合成的に照明を変更できる。 まず、シーンの複数の画像と、マルチビューステレオ(MVS)再構成により得られる3Dメッシュから始める。 照明は、鏡鏡反射方向の周囲に集中した視点非依存拡散成分と視点依存光沢項の和としてよく説明されていると仮定する。 入力特徴マップを囲む畳み込みネットワークをデザインし,暗黙的な映像表現と照明の学習を容易にし,照明と自由視点のナビゲーションを両立させる。 画像ベースと物理ベースの両方のレンダリングの最良の要素を利用して、これらの入力マップを生成します。 入力ビューをサンプリングし、拡散シーンの照度を推定し、パストレースを用いてユーザ特定光源による新たな照度を算出する。 ネットワークの材料理解を容易にし,光沢のある反射を合成するために,ビューを再計画し,ミラー画像を計算する。 各シーンをmvsで再構築した合成データセット上でネットワークをトレーニングする。 室内のシーンをリライトし、複雑な現実的な光沢のある反射を伴う自由視点ナビゲーションを行うアルゴリズムの結果を示す。

関連論文リスト

• Learning-based Inverse Rendering of Complex Indoor Scenes with Differentiable Monte Carlo Raytracing [27.96634370355241]
  本研究はモンテカルロ線トレーシングと重要サンプリングを組み合わせたエンドツーエンドの学習ベースの逆レンダリングフレームワークを提案する。 このフレームワークは1枚の画像を入力として、基礎となる幾何学、空間的に変化する照明、およびフォトリアリスティックな材料を共同で復元する。
  論文  参考訳（メタデータ） (2022-11-06T03:34:26Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• A New Dimension in Testimony: Relighting Video with Reflectance Field Exemplars [1.069384486725302]
  本研究では,同じ被験者の平坦な環境下で照らされた映像の4次元反射場を推定する学習手法を提案する。 入力映像の照明環境を推定し、被写体の反射場を用いて入力照明環境によって照らされた被写体の合成画像を作成する。 本手法はホロコーストの生存者の映像上で評価し,現実性と速度の両面で最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-06T20:29:06Z)
• IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
  本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。 レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
  論文  参考訳（メタデータ） (2021-02-25T18:56:21Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)
• Deep Reflectance Volumes: Relightable Reconstructions from Multi-View Photometric Images [59.53382863519189]
  位置決めされた点灯下で撮影された非構造画像からシーンの外観を再構築する深層学習手法を提案する。 ディープ・リフレクタンス・ボリュームの中心部には、不透明度、表面正規度、リフレクタンス・ボクセル・グリッドからなる新しいボリューム・シーンの表現がある。 学習したリフレクタンスボリュームは編集可能であり、キャプチャされたシーンの素材を修正可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-20T05:38:11Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。