論文の概要: Self-supervised Outdoor Scene Relighting

• arxiv url: http://arxiv.org/abs/2107.03106v1
• Date: Wed, 7 Jul 2021 09:46:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-08 13:55:15.364384
• Title: Self-supervised Outdoor Scene Relighting
• Title（参考訳）: 自己監督型屋外照明
• Authors: Ye Yu, Abhimitra Meka, Mohamed Elgharib, Hans-Peter Seidel, Christian Theobalt, William A. P. Smith
• Abstract要約: 本稿では, 自己指導型リライティング手法を提案する。 当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。 以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
• 参考スコア（独自算出の注目度）: 92.20785788740407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Outdoor scene relighting is a challenging problem that requires good understanding of the scene geometry, illumination and albedo. Current techniques are completely supervised, requiring high quality synthetic renderings to train a solution. Such renderings are synthesized using priors learned from limited data. In contrast, we propose a self-supervised approach for relighting. Our approach is trained only on corpora of images collected from the internet without any user-supervision. This virtually endless source of training data allows training a general relighting solution. Our approach first decomposes an image into its albedo, geometry and illumination. A novel relighting is then produced by modifying the illumination parameters. Our solution capture shadow using a dedicated shadow prediction map, and does not rely on accurate geometry estimation. We evaluate our technique subjectively and objectively using a new dataset with ground-truth relighting. Results show the ability of our technique to produce photo-realistic and physically plausible results, that generalizes to unseen scenes.
• Abstract（参考訳）: 屋外の風景の照明は、風景の幾何学、照明、アルベドをよく理解する必要がある困難な問題である。 現在の技術は完全に監視されており、ソリューションをトレーニングするために高品質な合成レンダリングを必要とする。 このようなレンダリングは、限られたデータから学んだ先行データを使って合成される。 対照的に,リライトの自己監督アプローチを提案する。 当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。 この事実上無限のトレーニングデータソースは、一般的なリライトソリューションのトレーニングを可能にする。 我々のアプローチはまず、画像をそのアルベド、幾何学、照明に分解する。 そして、照明パラメータを変更して新規の照明を行う。 専用シャドウ予測マップを用いてシャドウをキャプチャし,正確な幾何学的推定には依存しない。 地中照準を用いた新しいデータセットを主観的,客観的に評価した。 以上の結果から,本手法は不審な場面に一般化した,実写的かつ物理的に有理な結果を生成する能力を示す。

関連論文リスト

• GaNI: Global and Near Field Illumination Aware Neural Inverse Rendering [21.584362527926654]
  GaNIは、同じ位置にある光とカメラで撮影されたシーンの画像から、幾何学、アルベド、粗さのパラメータを再構築することができる。 既存の逆レンダリング技術と光カメラは、単一の物体のみに焦点を合わせている。
  論文  参考訳（メタデータ） (2024-03-22T23:47:19Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
  単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。 それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。 我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
  論文  参考訳（メタデータ） (2022-07-11T10:21:02Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• OutCast: Outdoor Single-image Relighting with Cast Shadows [19.354412901507175]
  本研究では,屋外画像のリライティング手法を提案する。 本手法は,1枚の画像から任意の新しい照明方向の鋳造影を予測することに焦点を当てる。 提案手法は,1つの画像のみを入力として,初めて最先端のリライト結果を実現する。
  論文  参考訳（メタデータ） (2022-04-20T09:24:14Z)
• Neural Radiance Fields for Outdoor Scene Relighting [70.97747511934705]
  ニューラルラジアンス場に基づく屋外シーンライティングのための最初のアプローチであるNeRF-OSRを提案する。 従来の技術とは対照的に,本手法はシーン照明とカメラ視点の同時編集を可能にする。 シャドウ再現のための専用ネットワークも備えており、高品質の屋外照明に欠かせない。
  論文  参考訳（メタデータ） (2021-12-09T18:59:56Z)
• Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder [62.580345486483886]
  本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。 この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。 Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-12-11T16:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。