論文の概要: Factorized and Controllable Neural Re-Rendering of Outdoor Scene for Photo Extrapolation

• arxiv url: http://arxiv.org/abs/2207.06899v1
• Date: Thu, 14 Jul 2022 13:28:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 18:42:14.997791
• Title: Factorized and Controllable Neural Re-Rendering of Outdoor Scene for Photo Extrapolation
• Title（参考訳）: 光外挿用屋外シーンの因子化および制御可能な神経再レンダリング
• Authors: Boming Zhao, Bangbang Yang, Zhenyang Li, Zuoyue Li, Guofeng Zhang, Jiashu Zhao, Dawei Yin, Zhaopeng Cui, Hujun Bao
• Abstract要約: 本稿では, 乱雑な屋外インターネット写真コレクションから新たなビューを生成するために, ニューラルリレンダリングモデルを提案する。 また,テクスチャの詳細を補完する新しいリアリズム拡張法を提案し,そのテクスチャの詳細を狭められた画像から外挿したニューラルレンダリング画像に自動的に伝達する。
• 参考スコア（独自算出の注目度）: 50.00344639039158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expanding an existing tourist photo from a partially captured scene to a full scene is one of the desired experiences for photography applications. Although photo extrapolation has been well studied, it is much more challenging to extrapolate a photo (i.e., selfie) from a narrow field of view to a wider one while maintaining a similar visual style. In this paper, we propose a factorized neural re-rendering model to produce photorealistic novel views from cluttered outdoor Internet photo collections, which enables the applications including controllable scene re-rendering, photo extrapolation and even extrapolated 3D photo generation. Specifically, we first develop a novel factorized re-rendering pipeline to handle the ambiguity in the decomposition of geometry, appearance and illumination. We also propose a composited training strategy to tackle the unexpected occlusion in Internet images. Moreover, to enhance photo-realism when extrapolating tourist photographs, we propose a novel realism augmentation process to complement appearance details, which automatically propagates the texture details from a narrow captured photo to the extrapolated neural rendered image. The experiments and photo editing examples on outdoor scenes demonstrate the superior performance of our proposed method in both photo-realism and downstream applications.
• Abstract（参考訳）: 部分的に撮影されたシーンからフルシーンに既存の観光写真を拡大することは、写真アプリケーションにとって望ましい経験の1つだ。 写真の補間はよく研究されているが、写真(セルフィーなど)を狭い視野からより広い視点へと外挿することは、類似のビジュアルスタイルを維持しながら、はるかに困難である。 そこで,本論文では,屋外のインターネット写真集合から光リアリスティック・ノベル・ビューを生成するための因子化ニューラル・リレンダリングモデルを提案する。 具体的には,まず,幾何学,外観,照明の分解におけるあいまいさを扱うために,新しい因子化再レンダリングパイプラインを開発した。 また,インターネット画像における予期せぬ閉塞に対処するための複合訓練戦略を提案する。 さらに,観光写真の外挿時の写真リアリズムを高めるために,狭い撮影画像から外挿したニューラルレンダリング画像へのテクスチャ詳細を自動的に伝達する,外観詳細を補完する新たなリアリズム拡張プロセスを提案する。 屋外シーンにおける実験と写真編集の例では,提案手法がフォトリアリズムと下流アプリケーションの両方において優れた性能を示す。

関連論文リスト

• Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering [56.68286440268329]
  現実世界のシーンの画像に仮想オブジェクトを正しく挿入するには、シーンの照明、幾何学、材料を深く理解する必要がある。 本稿では,物理ベースの逆レンダリングプロセスへのガイダンスとして,パーソナライズされた大規模拡散モデルを提案する。 本手法は,シーンライティングとトーンマッピングのパラメータを復元し,任意の仮想オブジェクトの光リアルな構成を室内や屋外のシーンの単一フレームやビデオで再現する。
  論文  参考訳（メタデータ） (2024-08-19T05:15:45Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Multi-view Gradient Consistency for SVBRDF Estimation of Complex Scenes under Natural Illumination [6.282068591820945]
  本稿では,自然照明下で観察された複雑なシーンの表面反射率を空間的に変化させる手法を提案する。 エンドツーエンドのプロセスでは、シーンの幾何学のモデルと、シーンの表面をキャプチャするいくつかの画像を使用する。 実験により, 複雑な形状を持つ任意の屋外シーンに対して, 現実的な結果が得られた。
  論文  参考訳（メタデータ） (2022-02-25T23:49:39Z)
• Neural Radiance Fields for Outdoor Scene Relighting [70.97747511934705]
  ニューラルラジアンス場に基づく屋外シーンライティングのための最初のアプローチであるNeRF-OSRを提案する。 従来の技術とは対照的に,本手法はシーン照明とカメラ視点の同時編集を可能にする。 シャドウ再現のための専用ネットワークも備えており、高品質の屋外照明に欠かせない。
  論文  参考訳（メタデータ） (2021-12-09T18:59:56Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。