論文の概要: Neural Radiance Fields for Outdoor Scene Relighting

• arxiv url: http://arxiv.org/abs/2112.05140v1
• Date: Thu, 9 Dec 2021 18:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-10 15:53:03.628244
• Title: Neural Radiance Fields for Outdoor Scene Relighting
• Title（参考訳）: 屋外シーンの照明のための神経放射場
• Authors: Viktor Rudnev and Mohamed Elgharib and William Smith and Lingjie Liu and Vladislav Golyanik and Christian Theobalt
• Abstract要約: ニューラルラジアンス場に基づく屋外シーンライティングのための最初のアプローチであるNeRF-OSRを提案する。 従来の技術とは対照的に,本手法はシーン照明とカメラ視点の同時編集を可能にする。 シャドウ再現のための専用ネットワークも備えており、高品質の屋外照明に欠かせない。
• 参考スコア（独自算出の注目度）: 70.97747511934705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Photorealistic editing of outdoor scenes from photographs requires a profound understanding of the image formation process and an accurate estimation of the scene geometry, reflectance and illumination. A delicate manipulation of the lighting can then be performed while keeping the scene albedo and geometry unaltered. We present NeRF-OSR, i.e., the first approach for outdoor scene relighting based on neural radiance fields. In contrast to the prior art, our technique allows simultaneous editing of both scene illumination and camera viewpoint using only a collection of outdoor photos shot in uncontrolled settings. Moreover, it enables direct control over the scene illumination, as defined through a spherical harmonics model. It also includes a dedicated network for shadow reproduction, which is crucial for high-quality outdoor scene relighting. To evaluate the proposed method, we collect a new benchmark dataset of several outdoor sites, where each site is photographed from multiple viewpoints and at different timings. For each timing, a 360 degrees environment map is captured together with a colour-calibration chequerboard to allow accurate numerical evaluations on real data against ground truth. Comparisons against state of the art show that NeRF-OSR enables controllable lighting and viewpoint editing at higher quality and with realistic self-shadowing reproduction. Our method and the dataset will be made publicly available at https://4dqv.mpi-inf.mpg.de/NeRF-OSR/.
• Abstract（参考訳）: 写真からの屋外シーンのフォトリアリスティックな編集には、画像形成過程の深い理解と、シーンの幾何、反射、照明の正確な推定が必要である。 照明の微妙な操作は、シーンアルベドと幾何学を変更せずに行うことができる。 我々は、NeRF-OSR、すなわち、ニューラルラジアンス場に基づく屋外シーンリライティングのための最初のアプローチを提案する。 先行技術とは対照的に,無制御で撮影された屋外写真のコレクションのみを用いて,シーン照明とカメラ視点の両方を同時に編集できる技術である。 さらに、球面調和モデルによって定義されるシーン照明を直接制御することができる。 また、シャドウを再現するための専用ネットワークも備えており、高品質な屋外シーンのリライトに欠かせない。 提案手法を評価するために,複数の屋外サイトにおいて,複数の視点から異なるタイミングで各サイトを撮影するベンチマークデータセットを収集した。 各タイミングについて、360度環境マップとカラーキャリブレーション式チェッカーボードを併用して、地上の真実に対する実際のデータの正確な数値評価を可能にする。 比較の結果,NeRF-OSRはより高品質でリアルな自己シェード再生が可能な照明と視点編集を可能にすることがわかった。 私たちのメソッドとデータセットはhttps://4dqv.mpi-inf.mpg.de/NeRF-OSR/で公開されます。

関連論文リスト

• EverLight: Indoor-Outdoor Editable HDR Lighting Estimation [9.443561684223514]
  本稿では、パラメトリック光モデルと360degパノラマを組み合わせ、レンダリングエンジンでHDRIとして使用できる手法を提案する。 我々の表現では、ユーザは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、リッチで複雑なリフレクションを提供しながら、編集とシームレスにブレンドすることができる。
  論文  参考訳（メタデータ） (2023-04-26T00:20:59Z)
• Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion [129.52943959497665]
  既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。 単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。 自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
  論文  参考訳（メタデータ） (2022-08-19T17:59:16Z)
• Factorized and Controllable Neural Re-Rendering of Outdoor Scene for Photo Extrapolation [50.00344639039158]
  本稿では, 乱雑な屋外インターネット写真コレクションから新たなビューを生成するために, ニューラルリレンダリングモデルを提案する。 また,テクスチャの詳細を補完する新しいリアリズム拡張法を提案し,そのテクスチャの詳細を狭められた画像から外挿したニューラルレンダリング画像に自動的に伝達する。
  論文  参考訳（メタデータ） (2022-07-14T13:28:08Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Multi-view Gradient Consistency for SVBRDF Estimation of Complex Scenes under Natural Illumination [6.282068591820945]
  本稿では,自然照明下で観察された複雑なシーンの表面反射率を空間的に変化させる手法を提案する。 エンドツーエンドのプロセスでは、シーンの幾何学のモデルと、シーンの表面をキャプチャするいくつかの画像を使用する。 実験により, 複雑な形状を持つ任意の屋外シーンに対して, 現実的な結果が得られた。
  論文  参考訳（メタデータ） (2022-02-25T23:49:39Z)
• Self-supervised Outdoor Scene Relighting [92.20785788740407]
  本稿では, 自己指導型リライティング手法を提案する。 当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。 以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
  論文  参考訳（メタデータ） (2021-07-07T09:46:19Z)
• A Dark Flash Normal Camera [6.686241050151697]
  カジュアル撮影は、低画質の画像が得られ、下流処理の性能が低下する、制御不能な照明でしばしば行われる。 近赤外光源(NIR)とカメラ(いわゆる「暗フラッシュ画像」)で可視光を補うことで、これらの条件にもかかわらず人物を映し出すシーンの表面の正常さと反射率マップを推定する問題について考察する。 この方法では、任意の可視光の下で捉えた単一カラー画像と、制御されたフロントライトNIR照明下で撮影した単一の暗いフラッシュ画像とを同じ視点で入力し、正規写像、拡散アルベドマップ、およびその特異強度マップを演算する。
  論文  参考訳（メタデータ） (2020-12-11T05:08:22Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。