論文の概要: Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion

• arxiv url: http://arxiv.org/abs/2208.09480v1
• Date: Fri, 19 Aug 2022 17:59:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-22 17:17:45.012420
• Title: Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion
• Title（参考訳）: 微分可能な仮想物体挿入による街路シーンのニューラルライトフィールド推定
• Authors: Zian Wang, Wenzheng Chen, David Acuna, Jan Kautz, Sanja Fidler
• Abstract要約: 既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。 単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。 自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
• 参考スコア（独自算出の注目度）: 129.52943959497665
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We consider the challenging problem of outdoor lighting estimation for the goal of photorealistic virtual object insertion into photographs. Existing works on outdoor lighting estimation typically simplify the scene lighting into an environment map which cannot capture the spatially-varying lighting effects in outdoor scenes. In this work, we propose a neural approach that estimates the 5D HDR light field from a single image, and a differentiable object insertion formulation that enables end-to-end training with image-based losses that encourage realism. Specifically, we design a hybrid lighting representation tailored to outdoor scenes, which contains an HDR sky dome that handles the extreme intensity of the sun, and a volumetric lighting representation that models the spatially-varying appearance of the surrounding scene. With the estimated lighting, our shadow-aware object insertion is fully differentiable, which enables adversarial training over the composited image to provide additional supervisory signal to the lighting prediction. We experimentally demonstrate that our hybrid lighting representation is more performant than existing outdoor lighting estimation methods. We further show the benefits of our AR object insertion in an autonomous driving application, where we obtain performance gains for a 3D object detector when trained on our augmented data.
• Abstract（参考訳）: 写真に仮想物体を挿入することを目的とした屋外照明推定の課題について考察する。 既存の屋外照明推定の作業は通常、屋外シーンにおける空間的に変化する照明効果を捉えられない環境マップにシーン照明を単純化する。 本研究では,1つの画像から5次元HDR光場を推定するニューラルアプローチを提案する。 具体的には、太陽の極端な強度を扱うHDRスカイドームと、周囲のシーンの空間的に変化する外観をモデル化するボリューム照明表現を含む、屋外シーンに適したハイブリッド照明表現を設計する。 推定照明により、我々の影認識物体挿入は完全に微分可能であり、合成画像上での対角訓練により、照明予測にさらなる監視信号を与えることができる。 従来の屋外照明推定手法よりもハイブリッド照明表現の性能が高いことを実験的に実証した。 さらに、ARオブジェクト挿入の利点を自律運転アプリケーションで示し、拡張現実データに基づいてトレーニングすると、3Dオブジェクト検出器の性能向上が得られることを示した。

関連論文リスト

• A Real-time Method for Inserting Virtual Objects into Neural Radiance Fields [38.370278809341954]
  本稿では,剛体仮想物体を神経放射場に挿入する最初のリアルタイム手法を提案する。 提案手法は,NeRFにおける照明と幾何学に関する豊富な情報を活用することで,拡張現実における物体挿入の課題を克服する。
  論文  参考訳（メタデータ） (2023-10-09T16:26:34Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• EverLight: Indoor-Outdoor Editable HDR Lighting Estimation [9.443561684223514]
  本稿では、パラメトリック光モデルと360degパノラマを組み合わせ、レンダリングエンジンでHDRIとして使用できる手法を提案する。 我々の表現では、ユーザは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、リッチで複雑なリフレクションを提供しながら、編集とシームレスにブレンドすることができる。
  論文  参考訳（メタデータ） (2023-04-26T00:20:59Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Neural Radiance Fields for Outdoor Scene Relighting [70.97747511934705]
  ニューラルラジアンス場に基づく屋外シーンライティングのための最初のアプローチであるNeRF-OSRを提案する。 従来の技術とは対照的に,本手法はシーン照明とカメラ視点の同時編集を可能にする。 シャドウ再現のための専用ネットワークも備えており、高品質の屋外照明に欠かせない。
  論文  参考訳（メタデータ） (2021-12-09T18:59:56Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Spatially-Varying Outdoor Lighting Estimation from Intrinsics [66.04683041837784]
  本稿では,空間変動型屋外照明推定のためのニューラルネットワークSOLID-Netを提案する。 グローバルスカイ環境マップとワープ画像情報を組み合わせて,空間変動する局所照明環境マップを生成する。 合成データセットと実データセットの両方の実験は、SOLID-Netが以前の方法を大幅に上回っていることを示しています。
  論文  参考訳（メタデータ） (2021-04-09T02:28:54Z)
• NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis [45.71507069571216]
  本稿では,無拘束の照明により照らされたシーンの画像を入力として入力する手法を提案する。 これにより、任意の照明条件下で新しい視点からレンダリングできる3D表現を生成します。
  論文  参考訳（メタデータ） (2020-12-07T18:56:08Z)
• Learning Illumination from Diverse Portraits [8.90355885907736]
  我々は,地中環境照明と組み合わせたポートレート写真を用いて,我々のモデルを訓練する。 我々は、光ステージを用いて、70種類の被験者の反射場とアルファマットを記録することにより、リッチな写真を生成する。 本手法は,ポートレートベース照明推定における最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-05T23:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。